INTELIGENCIA ARTIFICIAL FEMINISTA Hacia una Agenda de Investigación para América Latina y El Caribe

y)

Ni
a
,0

bl

y ==> => ,
Mim==29 7993
A MES RR

Inteligencia artificial feminista:
Hacia una agenda de investigación en América Latina y el Caribe

607.028563
1-611i

Editoras: Paola Ricaurte y Mariel Zasso
Diseñadoras, diagramadoras e ilustradoras: Diana Moreno y Angela Marciales.

= 1 edición —-
Cartago, Costa Rica : Editorial Tecnológica de Costa Rica, 2022.

1 recurso en línea (1 archivo pdf 80Mb) : ilustraciones, mapas, gráficas. Referencias bibliográficas
ISBN: 978-9930-617-24-3 (e-book)

1. Inteligencia artificial 2. Investigación educativa 3. Educación -- Investigación -- Tecnología

4. Inteligencia artificial -- Feministas 5. Tecnología -- Herramientas 6. Innovaciones tecnológicas
7. Tecnología -- Equidad social 8. Integración social 9. Inteligencia artificial -- Aspectos sociales
10. Inteligencia artificial -- Derechos humanos

Autoras:

Aarathi Krishnan - Abbijae Nevers - AJung Moon : Alexia Halvorsen Angie Abdilla Beatriz Busaniche - Caitlin Kraft-Buchman -:
Carlos Affonso Souza : Chelle Adamson - Chennel Williams - Clarissa Guevara : Eileen M. Lach - Farah Ghazal : Ivana Feldfeber -
Ivonne Muñoz : Jaime Gutiérrez Alfaro - Jennifer Taylor - Jessica Fjeld - Joan López John C. Havens : Juliana Guerra - Kruskaya :
Hidalgo Cordero - Laura Ación - Laura Alonso Alemany - Laura Castro - Lucía González - Luciana Benotti - Malavika Jayaram -
Marianela Ciolfi Felice - Mariel Zasso - Matías Bordone - Monique Morrow - Nagla Rizk - Norma Elva Chávez * Paola Ricaurte :
Rachel Adams : Raja Chatila - Raquel Seville Ravit Dotan - Raziye Buse Cetin - Sabelo Mhlambi - Saiph Savage : Sara Jordan -:
Sarita Rosenstock - Sofía Scasserra - Sofía Trejo - Soraj Hongladaron - Tajééw Díaz Robles Tatiana Revilla - Virginia Brussa -:
Wanda Muñoz Jaime - Yásnaya Elena Aguilar Gil - Yasmín Quiroga

Esta publicación se realizó con el apoyo de <A+> Alliance a través del proyecto Incubating Feminist Al financiado por el Centro
Internacional de Investigación para el Desarrollo, IDRC, Ottawa, Canadá.
Las opiniones aquí expresadas no representan necesariamente las del IDRC o su Junta de Gobernadores.

DR

feA+ior <Ar> (S) IDRC-CRDI

Feminist AI Research Network AAnEe Canadá

Licencia de Producción de Pares

QUÉ

Atribución/Compartir Igual/No Capitalista
https://sursiendo.org/licencia-de-produccion-de-pares/

Índice

Un prólogo sobre loras parlanchinas

Jaime Gutiérrez Alfaro y Caitlin Kraft-Buchman
Página 10

Hacia una agenda feminista de inteligencia artificial
en América Latina y el Caribe

Paola Ricaurte y Mariel Zasso
Página 14

Hacia una agenda feminista de lA en
América Latina y el Caribe

Entre la técnica y la práctica

Sofía Trejo
Página 25

La utilización del feminismo para promover el capitalismo digital:
poder, concentración y exclusión social

Sofía Scasserra
Página 40

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

Wanda Muñoz
Página 54

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Índice

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

Virginia Brussa
Página 79

Vigilando a las buenas madres:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Laura Castro y Joan López
Página 99

Integración de la perspectiva de género en las estrategias
de inteligencia artificial de América Latina:
de la narrativa a la acción

Tatiana Revilla S.
Página 117

Inteligencia Artificial Feminista para latinas

Saiph Savage, Ivonne Muñoz y Norma Elva Chávez
Página 130

Incubando lA feminista
Hacia un marco feminista para el desarrollo de la lA:
de los principios a la práctica

Juliana Guerra
Página 146

Diagnóstico y mitigación de sesgos desde América Latina
sobre procesamiento de lenguaje natural (PLN)

Fundación Vía Libre
Página 150

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Feminismos en inteligencia artificial:
herramientas de automatización hacia una reforma judicial feminista en Argentina y México

Ivana Feldfeber, Yasmín Quiroga, Clarissa Guevara y Marianela Ciolfi Felice
Página 152

Visiones desde los sures

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Yásnaya Elena Aguilar
Página 156

Alexa, amenyi. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

Tajééw B. Díaz Robles
Página 188

Inteligencia artificial:
un manifiesto descolonial

Varios autores
Página 201

La sabiduría del no saber y la lA descolonial

Raziye Buse Cetin
Página 205

Inteligencia artificial y la imaginación feminista descolonial

Paola Ricaurte
Página 214

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Índice

IA y el futuro de la humanidad:
una perspectiva del budismo

Soraj Hongladarom
Página 230

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

Kruskaya Hidalgo Cordero
Página 244

Un caso para una mayor inclusión y equidad en la investigación e implementación de
IA en el Caribe

Abbijae Nevers, Chennel Williams y Raquel Seville
Página 254

Diseño de un índice global basado en derechos sobre lA responsable

Rachel Adams
Página 260

Sigue la pista: iniciativas y recursos
sobre inteligencia artificial

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Fundación Vía Libre
Página 283

Otras iniciativas y proyectos

Página 296

Autoras

Página 298

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Un prólogo
sobre loras
parlanchinas A

Costa Rica

Caitlin Kraft-Buchman
Women at the Table
Suiza

“We Shape Our Tools, and
Thereafter Our Tools Shape Us

Marshall McLuhan

Walter “Gavitt” Ferguson nació a inicios del siglo XX en la costa caribeña
centroamericana. Ha vivido toda su vida en un pequeño pueblo llamado
Cahuita, en el Caribe sur costarricense, donde se dedicó a escribir y cantar
música calypsol!!. Sus canciones son un registro histórico de anécdotas. En
la canción titulada Computer, nos cuenta su acercamiento a lo que hoy

podríamos llamar algoritmos para la toma de decisiones. Cuenta en su

[1] Originario de las Antillas, el calypso es característico del Caribe Americano. En Costa Rica se empezó a escuchar a partir del año 1870
en Limón, cuando llegaron a sus costas personas de Jamaica, Barbados y Saint Kitts. Las letras del calypso se componen de rimas y
melodías y tratan temáticas sociales y culturales. Puede consultarse aquí:
https://radios.ucr.ac.cr/2021/05/radio-870/calypso-costarricense/ (N. de las Eds.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

10

Prólogo

canción que en una ocasión le asignaron una pensión. Sin embargo,
cuando él fue a retirarla, la persona que le atendió se negó a dársela
porque La computadora dijo que don Walter tenía mucho dinero y
propiedades. Con el sinsabor de la situación, Ferguson escribió en el coro
de la canción: Nobody hate the computer/Computer is a wicked talking
parrot. (Nadie odia la computadora/La computadora es una malvada lora
parlante)?!.

A partir de la historia de don Walter, no podemos saber cómo influyó
el algoritmo en el proceso de toma de decisión. Es decir, no sabemos si los
datos sobre propiedades y dinero eran precisos, si el software estaba
implementado adecuadamente o si la manera en que se mostraba la infor-
mación a la persona que decidía era la correcta. El caso es que los resulta-
dos que entregó la computadora se consideraron una verdad absoluta para
la persona que finalmente tomó la decisión de negar la pensión a don
Walter.

Hoy en día las herramientas basadas en inteligencia artificial y los
algoritmos para la toma de decisión son esa malvada lora parlante que
moldea la forma en que vivimos. Sin embargo, hoy sabemos que mayori-
tariamente estas herramientas están basadas en datos incompletos,
sesgados o corruptos; que los algoritmos están añadiendo una visión este-

reotipada de las poblaciones históricamente marginalizadas y que la

[2] La canción de Walter Ferguson puede escucharse en:
https://www.youtube.com/watch?v=Np22tJWZyLo (N. de las Eds.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Prólogo

manera en la que se nos entregan los resultados consolida los sesgos y
estereotipos, validándolos al pasar por la computadora. En pleno siglo XXI,
tenemos certeza de que las herramientas basadas en inteligencia artificial y
los algoritmos para la toma de decisiones son implementados con una
perspectiva colonial, replicando sesgos estructurales e históricos, amplifi-
cando las desigualdades sociales en el entorno digital y repercutiendo
directamente en la calidad de vida de las personas.

Para revertir este panorama, es necesario construir algoritmos femi-
nistas y descoloniales, concordantes con las perspectivas de cada región
donde serán utilizados. La Red de Investigación Feminista en Inteligencia
Artificial, f<a+i>r, es un aporte en la ruta de moldear una sociedad más
equitativa corrigiendo las desigualdades históricas (no solo mitigándolas).
Este camino de construcción de nuevas herramientas tecnológicas requiere
incorporar la perspectiva del sur global en procesos de reflexión crítica,
innovación y experimentación, con la participación de equipos multidiscipli-
narios. La red f<a+i>r, liderada de manera global por la organización
Women at the Table y el Instituto Tecnológico de Costa Rica, trabaja en
tres regiones, cada una gestionada por una organización ampliamente re-
conocida: el Tecnológico de Monterrey en Latinoamérica y el Caribe, la
Jordan Open Source Association en el Norte de África y Medio Oriente y la
Universidad Chulalongkorn en el Sureste de Asia. El financiamiento del tra-
bajo de la red proviene del Centro Internacional de Investigaciones para el
Desarrollo (IDRC) de Canadá.

El desafío de la red f<a+i>r es construir nuevas herramientas de

inteligencia artificial y algoritmos para la toma de decisión, diseñadas para

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

13

Prólogo

mejorar la calidad de vida de las personas a través de cambios estructura-
les y culturales concordantes con el siglo XXI Busca desarrollar
herramientas que implementen los principios feministas de interseccionali-
dad, desmantelar los sesgos, promover la rendición de cuentas y el uso in-
clusivo, responsable y transparente del poder en los sistemas sociales y
algorítmicos; una tecnología que al usarla inspire canciones de bondadosas

loras parlanchinas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Hacia una agenda
feminista de
Inteligencia artificial
en América Latina
y el Canbe

Paola Ricaurte
Mariel Zasso

Tecnológico de Monterrey
México

Bajo la etiqueta de inteligencia artificial (IA), podemos englobar narrativas,
imaginarios, ecosistemas, intereses geopolíticos, un campo de estudio, un
conjunto de tecnologías. Representa, en esa multiplicidad, una complejidad
de relaciones, procesos, instituciones, materialidades y maneras de ver el
mundo que están perfilando el actual momento histórico. Por ello, es nece-
sario prestar atención a la inteligencia artificial, puesto que son múltiples las
fuerzas y las consecuencias asociadas con esta expresión de la moder-
nidad en nuestra vida individual y colectiva.

El debate sobre la inteligencia artificial ocupa las agendas mundiales.

En el ámbito de los organismos internacionales, existe una tendencia a buscar

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

cómo resolver que la inteligencia artificial pueda utilizarse para el bienestar so-
cial, minimizando sus riesgos y daños. En este nivel, las discusiones engloban
diversos actores, tanto del sector público como privado, así como también de la
sociedad civil. Sin embargo, la gobernanza y las decisiones sobre la lA se en-
cuentran principalmente a cargo de los países industrializados, que impulsan
sus agendas y sus intereses.

En este escenario -y conscientes de las asimetrías en torno al desa-
rrollo tecnológico, la producción científica y el acceso a recursos para la
innovación- nos preguntamos sobre el papel que deben jugar los países de
América Latina y el Caribe para impulsar políticas que nos permitan des-
puntar regionalmente en el desarrollo científico-tecnológico con una mirada
distintiva que atienda nuestras necesidades y responda a nuestro contexto
étnico, cultural, racial y linguísticamente diverso. Apostar por la producción
de conocimiento y de tecnología bajo los valores asociados con la defensa
del común, en armonía con los derechos de los pueblos que habitan el terri-
torio y respetando los derechos de la naturaleza, sería una apuesta por el
futuro de la humanidad. En ese sentido, nos correspondería encarar la
paradoja ecológica de la economía digital (Peña, 2020) que implicaría
asumir la responsabilidad de evitar que la industria de la lA reproduzca
violencias sistémicas a escala. (Ricaurte, 2022)

Así, sabemos que las violencias sistémicas, asociadas con modelo
de un mundo patriarcal, colonial y capitalista, se reproducen en los siste-
mas inteligentes. Los prejuicios sistémicos de género, raciales, sociales,
lingúísticos, así como de otras interseccionalidades, se encuentran en el
centro de los actuales procesos de inteligencia artificial que surgen en el

Norte global y que luego son replicados en el Sur global.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

La red Red de Investigación Feminista en Inteligencia artificial,
f<a+i>r, surge impulsada por la urgencia de combatir y corregir estos pre-
juicios y discriminaciones asociados con la lA en todas sus dimensiones y
en su ciclo de vida completo. A través de investigación-acción, el desarrollo
de capacidades e innovación desde una perspectiva feminista, situada y
anclada en las comunidades, busca ofrecer visiones alternativas al desa-
rrollo tecnológico hegemónico.

Esta publicación es el resultado del trabajo de la red, como parte del
primer ciclo de trabajo de articulación y reflexión colectiva. Da cuenta de las
exploraciones multidisciplinarias, desde diversas geografías y voces, no sin
contradicciones, que esperamos contribuyan a ampliar la comprensión de lo
que implica una lA feminista en todos sus procesos. Pensamos que este
marco puede incidir en transformar positivamente las lógicas asociadas con
los sistemas de toma de decisiones algorítmicas que automatizan la opre-
sión. (Peña 8 Varon, 2021) Por esa razón, invitamos a las integrantes de la
red f<a+i>r y aliadas a compartir sus investigaciones, reflexiones críticas,
propuestas metodológicas innovadoras y visiones para promover tecno-
logías inteligentes bajo principios feministas.

¿Qué es la lA feminista? ¿Por qué la necesitamos?¿Cómo un abor-
daje feminista puede provocar un cambio fundamental en la sociedad?
¿Cómo podemos catalizar un movimiento desde el sur global que ofrezca
alternativas para alcanzar la equidad, la justicia social y ambiental? ¿Cómo
avanzar la agenda feminista de investigación-acción en la región? ¿Cuáles
son las problemáticas más urgentes? Estas fueron algunas de las pregun-

tas que sirvieron de guía para las reflexiones reunidas en este volumen.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

Los textos buscan identificar las asimetrías de poder y las formas de
opresión sistémica que se encuentran presentes en el campo, en los datos
y en los modelos que se utilizan en la política social actual. Al catalizar la
reflexion crítica y propositiva, buscamos avanzar en la agenda feminista en
la región reuniendo visiones de mujeres de distintos países, ámbitos disci-
plinarios y experiencias.

El volumen se divide en tres secciones: la primera, Hacia una agen-
da de investigación feminista en lA, reúne reflexiones e investigaciones de
integrantes de la red f<a+i>r y aliadas. Las autoras plantean pensar crítica-
mente las estrategias de desarrollo e inclusión, ya sea a nivel local o global.
Abriendo este apartado, Sofía Trejo aborda la emergencia de marcos éticos
para el desarrollo de lA con la intención de alinear el desarrollo de esta
tecnología con el bienestar, la ética o la sustentabilidad. Desde una mirada
crítica, plantea que si no cuestionamos nuestras visiones sobre el desarro-
llo o el futuro, los principios éticos de la lA tienden a reforzar narrativas
tecnológicas que asumen la universalidad de valores, ciertas visiones de
mundo y de futuro. De esta manera se contribuye a la narrativa de que la
tecnología, y particularmente la lA, es la herramienta que nos permitirá
materializar todos nuestros planes y aspiraciones.

Sofía Scasserra complejiza la discusión sobre la agenda feminista
en la tecnología y la captura del feminismo en las narrativas de los actores
poderosos. Problematiza el creciente interés de las grandes corporaciones
por incluir a las mujeres en la economía digital como una estrategia para
promover sus propios intereses económicos. Para finalizar, plantea la nece-
sidad de desmantelar ese discurso y reapropiárselo desde el movimiento

feminista, a fin de que la tecnología sea cada vez mas diversa e inclusiva.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

Haciendo una crítica desde una perspectiva feminista
latinoamericana, Wanda Muñoz abre un debate sobre las iniciativas que
buscan presentar la inteligencia artificial (IA) como una herramienta clave
para acelerar el cumplimiento de los Objetivos de Desarrollo Sostenible
(ODS). Propone recomendaciones y elementos mínimos que todo proyecto
que busque contribuir a los ODS debería incorporar y demostrar, incluyen-
do los sistemas inteligentes.

Virginia Brussa habla de la oportunidad de la investigación-acción
por una agenda de lA feminista en América Latina como camino alternativo
a las narrativas algorítmicas en disputa, planteando que los trayectos latino-
americanos pueden servir de puntos de inflexión para problematizar por
qué necesitamos una gobernanza y una ciencia de datos para una lA femi-
nista y latinoamericana.

Laura Castro y Joan López, de Fundación Karisma, presentan los
resultados del informe Vigilando a las 'buenas madres” (Castro 4 López,
2021) para ofrecer evidencia de que el manejo de datos puede afectar aún
más a las mujeres en condición de pobreza. El estudio analiza cómo el
programa de transferencias monetarias Familias en Acción afecta la
autonomía y la dignidad de las mujeres-madres beneficiarias a través de
una compleja red de vigilancia institucional y de estereotipos de género que
imponen una carga diferencial sobre las mujeres en comparación con otras
personas del hogar. En un contexto de datificación de la política asistencial
colombiana, analizan el aumento de control social por medio de los datos a
través de tres problemáticas principales: ¡) vigilancia; ii) punitivismo y iii)

disciplinamiento.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

Tatiana Revilla contrasta las estrategias de inteligencia artificial en
seis países de América Latina y analiza la integración de elementos clave
de la perspectiva de género (PEG). Identifica países con la integración de
PEG como un elemento prioritario y transversal, sustentando con líneas de
acción específicas; países que la establecen como un elemento sin un
desarrollo tan amplio; y países que ni siquiera lo consideran como un ele-
mento en la estrategia. Finalmente, ofrece recomendaciones generales
para incorporar de una manera integral la PEG en las estrategias de lA en
países latinoamericanos.

En cuanto a experimentaciones técnicas y metodológicas, Saiph
Savage, lvonne Muñoz y Norma Elva Chávez comparten los avances de
una investigación en la cual usan lA para mejorar las condiciones de vida y
laborales de las mujeres latinas. Abordando la subrepresentación de
mujeres latinas en proyectos de ciencia ciudadana, plantean utilizar esos
espacios como oportunidades de desarrollo profesional para esas mujeres
valiéndose de herramientas inteligentes.

La segunda sección presenta las versiones resumidas de los tres
proyectos seleccionados en la primera convocatoria Incubando lA Feminis-
ta, lanzada en 2021. Estos proyectos fueron realizados durante el primer
semestre de 2022 por las organizaciones Derechos Digitales, Fundación
Vía Libre y Data Género. La iniciativa Incubando lA feminista apoyará
proyectos de investigación e innovación feminista a lo largo de tres años
(2021-2024) con el propósito de contribuir al desarrollo de tecnologías inte-
ligentes basadas en principios feministas y ancladas a las necesidades de
las comunidades del sur global, particularmente en las regiones de América

Latina y el Caribe, Sudeste Asiático, Norte de África y Medio Oriente.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

En la tercera sección, titulada Visiones desde el sur, reunimos
reflexiones de personas situadas en el sur global que comparten las preo-
cupaciones y esperanzas de nuestra agenda.

De Yásnaya Elena Aguilar, compartimos la ponencia magistral
presentada durante el Primer Encuentro Regional del hub de América Lati-
na y el Caribe, realizado en marzo de 2022. En la conferencia “La lengua
como territorio cognitivo y su relación con concepciones tecnológicas”,
Yásnaya compartió reflexiones acerca de temas urgentes para atender los
derechos lingúísticos y culturales y relacionó la soberanía tecnológica con
los procesos de autonomía del pueblo mixe -y de todos los pueblos.

Tajeew Díaz Robles comparte su trayectoria como activista digital de
lenguas indígenas y enseña esfuerzos de activistas que están tratando de ir
contracorriente. Desde su vivencia como joven investigadora mixe, explica
cómo las herramientas digitales pueden apoyar los esfuerzos locales y
comunitarios para que una lengua minorizada y discriminada no muera.

El manifiesto descolonial de la lA presenta “una provocación, una
pregunta, una apertura, una danza acerca de un futuro descolonial de los
sistemas de inteligencia artificial”, reflejando una visión entre muchas,
resultado de un ejercicio colectivo coordinado por Buse Cetin, Sabelo
Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens.

Dentro del aporte de epistemologías críticas, la investigadora turca
Raziye Buse Cetin instiga la reflexión sobre cómo la lA está profundamente
entramada con la colonialidad del poder. La colonialidad no se restringe
solo a las esferas políticas y económicas, sino también a los lugares de

producción de conocimiento, percepción, sentimiento e imaginación.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

Paola Ricaurte recalca la necesidad de analizar las asimetrías que
hacen del desarrollo tecnológico de la lA un instrumento para la continuidad
de la violencia a escala global. Recupera la noción de la colonialidad del
poder para proponer una visión que articule los aspectos macro y micro-
políticos del desarrollo tecnológico como parte de un proyecto descolonial y
feminista, que considere las múltiples dimensiones involucradas en la
producción de tecnologías de la lA justas para la mayoría del planeta.

Desde Tailandia, Soraj Hongladarom, líder del hub de Sudeste de
Asia de la red f<a+i>r, propone un abordaje de la lA y el futuro de la huma-
nidad desde la perspectiva del budismo. En la conferencia presentada
también en marzo de 2022, habla en torno a la urgencia de pensarnos
colectivamente, pensar en el futuro y, sobre todo, en el papel que juega la
IA en el futuro de la humanidad.

Kruskaya Hidalgo, del Observatorio de Plataformas, Ecuador, aborda
la problemática de las aplicaciones de transporte y reparto planteando refle-
xiones feministas sobre la economía de plataformas. Aborda la complejidad
de la interseccionalidad puesto que incluye precarización, género,
migración, maternidad, salud, regularización, entre otros. Sus reflexiones
apuntan la urgencia de llevar análisis feministas interseccionales a los
debates de la gig economy, así como de disputar las narrativas y de
visibilizar que la precarización que generan estos modelos de negocio tiene
rostros específicos.

Abbijae Nevers, Chennel Williams y Raquel Seville, de BlBrainz,
Jamaica, comparten un panorama sobre los datos -o la falta de ellos- y el

potencial de la lA en el Caribe. Ellas apuntan la necesidad de identificar los

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Presentación

sesgos sistémicos subyacentes en sus sistemas y procesos, culturas y
datos, para poder avanzar en la agenda caribeña.

Desde Sudáfrica, Rachel Adams da voz al esfuerzo de un colectivo
de especialistas y consultoras y comparte el proceso de construcción del
Índice Global para lA responsable basado en los derechos humanos. Esta
herramienta está pensada para apoyar a una amplia gama de actores en el
avance de las prácticas de lA ética.

Finalmente, Laura Ación, Laura Alonso Alemany, Luciana Benotti,
Matías Bordone, Beatriz Busaniche, Lucía González y Alexia Halvorsen,
integrantes de la Fundación Vía Libre, nos comparten los aprendizajes de
una serie de conversaciones organizadas durante el 2021 y que tratan la
relación entre ética e lA. Los diálogos buscan analizar críticamente las tec-
nologías que atraviesan nuestra vida, sin perder de vista la capacidad de
desarrollarlas e implementarlas. El enfoque de estas conversaciones
consistió en la búsqueda de la diversidad de voces presentes en esta área,
desde el sur y con una perspectiva feminista por ser crítica, multidisciplinar
e por poner en el escenario a distintos tipos de minorías en lA: mujeres.

A partir de estas reflexiones críticas y propositivas, esperamos tener
incidencia en el desarrollo tecnológico y en la propuesta de políticas públi-
cas que permitan avanzar en la agenda feminista de lA en la región hacia

futuros más justos y libres de violencia.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

23

REFERENCIAS

Castro, L., 4 López, J. (2021). Vigilando a las buenas madres”: Aportes desde una
perspectiva feminista para la investigación sobre la datificación y la vigilancia
en la política social desde Familias en Acción. Fundación Karisma.

https://www.researchgate.net/publication/350849100_Vigilando_a_las_buenas_madres_Aporte
s_desde_una_perspectiva_feminista_para_la_investigacion_sobre_la_datificacion_y_la_vigilan
cia_en_la_politica_social_desde Familias _En_Accion

Peña, P. (2020). Bigger, more, better, faster: The ecological paradox of digital
economies. GISWatch Report. En Technology, the Environment and a
Sustainable World.

https://giswatch.org/node/6245

Peña, P. 8 Varon, J. (2021). Not My Al. [Website].
https://notmy.ai/

Ricaurte, P. (2022). Ethics for the majority world: Al and the question of violence at
scale. Media, Culture 8 Society, 44(4), 726-745.
https://doi.org/10.1177/01634437221099612

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Pe

ns SA

y” sr,
eN Ia A A =>
2/1 *

EA = AN

PR)
Pe
LN

Y 25 =>
ás
Jen

Hacia una agenda feminista

de inteligencia artificial en

América Latina y el Caribe

Entre la técnica
y la práctica

Sofía Trejo

Instituto Tecnológico
Autónomo de México
México

En los últimos años, gobiernos, organismos internacionales, academia, so-
ciedad civil y sector privado han formulado un sinnúmero de principios de la
inteligencia artificial (IA), con la intención de alinear el desarrollo de esta
tecnología con el bienestar, la ética o la sostenibilidad. Sin embargo, pese a
existir más de ciento sesenta propuestaslél para desarrollar lA de forma
“ética” o “responsable”, existe poco trabajo enfocado a estudiar de forma
crítica estos principios y la factibilidad de que estos sean utilizados para
guiar el desarrollo tecnológico. En este sentido, los principios éticos de la lA
se han convertido en dogmas tecnológicos que nos prometen desarrollo,
bienestar y un mejor futuro, sin preguntarse ¿qué es el desarrollo”,
¿bienestar para quienes y a qué costo? y si existe un consenso sobre qué

entendemos por un mejor futuro. Como consecuencia, los principios de la

[8] https://algorithmwatch.org/en/ai-ethics-guidelines-inventory-upgrade-2020/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

IA tienden a reforzar narrativas tecnológicas que asumen la universalidad
de valores, así como de las visiones de mundo y de futuro y nutren la idea
de que la tecnología (particularmente la lA) es la herramienta que nos
permitirá materializar todos nuestros planes y aspiraciones. Sin embargo,
antes de decidir si la lA podría acercarnos a un futuro más brillante valdría
la pena dar un paso atrás y preguntarse ¿es posible usar la lA como herra-
mienta para materializar el futuro que queremos?, ¿qué visiones del mundo
posibilitan o dificultan estas herramientas?, ¿hasta qué punto es posible
direccionar este fenómeno tecnológico y hacia dónde?, ¿qué agencia
tenemos sobre estas problemáticas? y ¿qué papel juegan los feminismos
en estas reflexiones?

Responder estas preguntas no es una tarea sencilla, requiere de un
análisis profundo, desde una pluralidad de perspectivas, de los diversos
procesos involucrados en el desarrollo de esta tecnología. Estos procesos
abarcan desde la extracción de minerales para la creación de dispositivos,
hasta la producción de las narrativas que vinculan el progreso con la lA. En
particular, en este texto exploraremos algunas estructuras de poder en el
campo de la lA y la manera en la que estas se han consolidado a través de
una estrecha relación entre la técnica y la práctica. Para ello comen-
zaremos explorando cómo es creada la lA y qué elementos son clave en su
diseño.

La lA puede ser creada mediante diversas arquitecturas. La más uti-
liada en la actualidad es llamada Aprendizaje Automático (Machine
Learning en inglés). A grandes rasgos, podemos decir que los sistemas de

Aprendizaje Automático aprenden a emular algún comportamiento con base

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

a ejemplos de dicho comportamiento. Estos ejemplos son presentados al
sistema como datos. Por ejemplo, si quisiéramos crear un sistema de lA
que clasifique imágenes de animales por especie, deberíamos mostrarle
numerosas imágenes de ejemplares de cada una de las especies que
queremos que aprenda a clasificar. Con base en los ejemplos, el sistema
podía crear un modelo de clasificación utilizando los patrones y regularida-
des de los datos que le fueron presentados en la etapa de aprendizaje
(también conocida como de etapa de entrenamiento).

Una vez que el sistema es entrenado, es importante saber qué tan
bueno es para emular el comportamiento deseado. En nuestro ejemplo,
esto equivaldría a saber qué tan bueno es el sistema para clasificar imáge-
nes de animales por especie. Para evaluar el sistema, se le muestran datos
que no haya visto antes (datos de evaluación) y se estudia la calidad de sus
predicciones. Existen varias formas de evaluar el desempeño de un sistema
de lA, la más utilizada en el campo es llamada exactitud. Podemos pensar
en la exactitud de un sistema como el porcentaje de predicciones correctas
que hace. Para dar una definición más formal, supongamos que los datos
de evaluación conforman una muestra M. Entonces, la exactitud del siste-
ma es el resultado de dividir el número de predicciones correctas que hizo
el sistema sobre la muestra M, entre el tamaño de la muestra. Por ejemplo,
si evaluamos nuestro sistema de clasificación de imágenes con un conjunto
de 100 imágenes de animales y este clasifica correctamente la especie de
80 de estas imágenes, entonces el porcentaje de predicciones correctas es
del 80% y la exactitud 0.8. En particular, sistemas que son mejores

emulando un comportamiento (que hagan más predicciones correctas)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

tendrán mayor exactitud. En este sentido, es posible utilizar la exactitud
para comparar el desempeño de diversos sistemas en tareas específicas.
Es importante recalcar que esta no es la única forma de comparar el de-
sempeño de los sistemas de lA, pero actualmente es la más utilizada.

Más que una cantidad o un porcentaje, podemos pensar en la exac-
titud como una manera de codificar qué es considerado importante para el
desarrollo de lA y cómo se mide esa importancia. En otras palabras, esta
métrica representa una valorización y como tal valdría la pena preguntarse
¿qué está favoreciendo esta valorización? y ¿qué impactos tiene esta
métrica en el desarrollo tecnológico? Pero, sobre todo, valdría la pena
cuestionar si es posible redireccionar la tecnología mediante valorizaciones
distintas y qué papel puede jugar el feminismo en estas intervenciones.
Para explorar estas interrogantes comenzaremos por analizar el desarrollo
histórico de la lA.

Actualmente, tres factores son clave para el avance de la lA: la in-
novación de algoritmos, los datos y la cantidad de cómputo disponible para
el entrenamiento de los sistemas. De estos tres elementos, el mejor indica-
dor del desempeño de los sistemas es la cantidad cómputo utilizada para
entrenar los modelos. (Amodei 8 Hernandez, 2021) Recordemos que el in-
dicador por excelencia para medir el desempeño es la exactitud. Esto quie-
re decir que para poder estudiar el desarrollo de la lA en relación con el
desempeño debemos entender la evolución del cómputo en el campo.

Por más de seis décadas, entre 1950 y 2011, la cantidad de cómputo
utilizada para desarrollar sistemas de lA siguió un patrón similar al de la Ley

de Moore, duplicándose cada dos años. (Ahmed 8 Wahed, 2020) Durante

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

esta etapa, los diversos grupos de investigación utilizaban el mismo tipo de
software y de hardware, y el equipo de cómputo tenía propósitos generales.
(Ahmed 8 Wahed, 2020) Sin embargo, el año 2012 marcó el inicio de una
nueva era en el desarrollo de lA. A partir de este momento la tasa de
cómputo utilizada para entrenar modelos de lA comenzó a duplicarse cada

3.4 meses. (Amodei 8 Hernandez, 2021) (ver Figura 1)

Figura 1

Tasa de cómputo demandada por el deep learning

Computing Power demanded by Deep Learning

—
e.
Hs

Deep Learning

—
4
Ú]

me.
o,
2

Hardware Performance

_
o.
,

—
oa,
.

Deep Learning era

Relative Computation

>
o
,

_
o.

Dennard - scaling era Multicore era

1985 1990 1995 2000 2005 2010 2015 2020
Year

Fuente: Thompson et. al, 2020.

Este cambio drástico en la utilización de cómputo está relacionada
con la introducción de hardware especializado para procesamiento, en par-
ticular con el uso de Unidades de Procesamiento Gráfico (GPU, por sus si-
glas en inglés). (Amodei 8 Hernandez, 2021) Las unidades GPU existían

antes del 2012, pero eran utilizadas principalmente para videojuegos y ani-

Inteligencia Artificial Feminista
29 Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

maciones gráficas. Sin embargo, después del 2012 el hardware especiali-
zado se convirtió en una pieza clave para el desarrollo de la lA. De hecho,
las grandes empresas de tecnología, como Amazon, Apple, Google y Tesla,
trabajan en el diseño de hardware especializado. (Ahmed 8 Wahed, 2020)
En muchos casos este hardware, como las Unidades de Procesamiento
Tensorial (TPU por sus siglas en inglés) creadas por Googlel*, son accesi-
bles a desarrolladores trabajando fuera de estas empresas mediante la
renta de servicios de nube (como Google Cloud). Sin embargo, el costo de
rentar estos equipos para crear modelos grandes de lA es extremadamente
alto, por lo que no es accesible para la mayoría de los grupos de investiga-
ción!*1. Por lo tanto, el desarrollo de hardware especializado y de otras in-
fraestructuras digitales ha colaborado a la creación de un oligopolio que
controla gran parte de los recursos computacionales requeridos para crear
sistemas de lA de alto desempeño. En otras palabras, el aumento de la
cantidad de cómputo requerida para crear sistemas de lA ha influenciado
significativamente el desarrollo del campo, al favorecer a un pequeño grupo
de actores (aquellos con acceso a hardware especializado).

Además de la aparición de hardware especializado, los cambios en
el desarrollo de hardware para uso general también han jugado un papel
importante en el desarrollo de la lA a nivel global. En particular entre los 60

y la primera década de los 2000, la velocidad de procesamiento de los mi-

[4] https://es.wikipedia.org/wiki/Unidad_de_procesamiento_tensorial

[5] Por ejemplo, se estima que entrenar el modelo GPT-3 de procesamiento de lenguaje utilizando los servicios de nube de Tesla costaría
más de 4.6 millones de dólares. Ver Li, C. (2020).

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

crochips de uso general se incrementó a una tasa predecible, siguiendo la
llamada Ley de Moore. (Cowls et al., 2021) Esta ley, nombrada así por
Gordon Moore, el cofundador de Intel, predecía que la cantidad de transis-
tores en un microchip se duplicaría cada dos años. (Cowls et al., 2021) Co-
mo consecuencia de que el desarrollo tecnológico siguiera dicho patrón de
crecimiento, fue posible duplicar el desempeño del equipo de cómputo
aproximadamente cada 18 meses, sin incrementar los costos. (Markoff,
2015) Sin embargo, desde mediados del 2010, la tasa de crecimiento del
desempeño de las mejores supercomputadoras se ha reducido sustancial-
mente. (Markoff, 2015) En otras palabras, después del 2012 el desempeño
de las computadoras de uso general dejó de incrementarse siguiendo su
patrón histórico. Esto quiere decir que desde la primera década del los
2000 tres fenómenos han estado ocurriendo: 1) el uso de hardware espe-
cializado ha cobrado mayor importancia en el desarrollo de la lA; 2) el de-
sempeño del hardware de uso general ha dejado de aumentar siguiendo la
Ley de Moore y; 3) la cantidad de cómputo requerida para producir siste-
mas de lA ha aumentando a una tasa sin precedentes. ¿Qué consecuen-
cias en el campo se han derivado de esto?

Uno de los cambios más significativos en el desarrollo de la IA en
esta nueva etapa de la lA, post Moore y post 2012, es que los grupos de
investigación han dejado de estar en circunstancias comparables. Esto se
debe a que en este campo el acceso a cómputo está fuertemente ligado
con la producción de los resultados de alto nivel, por lo que aquellos grupos
sin acceso a hardware especializado y sin la capacidad de crear el software

requerido para implementarlo, están en desventaja. (Ahmed 8 Wahed,

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

2020) En otras palabras, a partir del 2012 se abrió una brecha de cómputo
que provocó la centralización de la producción de conocimiento sobre lA en
grupo pequeño de actores (varios de ellos grandes empresas de tecno-
logía) des-democratizando el campo. (Ahmed 8 Wahed, 2020) Además,
estos cambios han generado que los grupos que actualmente producen los
mejores sistemas de lA (basados en exactitud o en métricas relacionadas)
lo hagan a través del uso de cantidades masivas de cómputo, lo que esen-
cialmente significa que están comprando mejores resultados. (Schwartz et
al., 2020)

Como es de imaginarse, este nuevo paradigma tecnológico no ha
afectado a todas las regiones del mundo de la misma forma. De hecho, ha
favorecido al Norte Global y ha limitado el desarrollo tecnológico en diver-
sas regiones del Sur. Para dar idea de la manera en la que estos cambios
han influido la producción de conocimiento sobre |A podemos observar la
Figura 2. Esta figura muestra el porcentaje de publicaciones (revisadas por
pares) producidas en diversas regiones a nivel mundial. (Zhang et al., 2021)
En particular, esta gráfica permite observar que el porcentaje de represen-
tación de América Latina y el Caribe en el campo ha estado decreciendo,
marginal pero constantemente, desde el 2012. De manera complementaria
a la información presentada en la gráfica, destacamos que en las últimas
dos décadas la participación de empresas tecnológicas (como Google y
Facebook) en las principales conferencias de lA ha incrementado y que ac-
tualmente estas empresas presentan aproximadamente el 30% de los tra-

bajos en estos espacios. (Ahmed 8 Wahed, 2020)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

33

Entre la técnica y la práctica

Figura 2

Porcentaje de publicaciones revisadas por pares producidas por
regiones

PEER-REVIEWED Al PUBLICATIONS (% of TOTAL) by REGION, 2000-19

Source: Microsoft Academic Graph, 2020 / Chart: 2021 Al Index Report

40%

36.9% East Asia 8. Pacific

30%

20%

17.0% North America

Peer-Reviewed Al Publications (% of Total)

5.5% Middle East 8. North Africa

0%

2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019

Fuente: Zhang et al. (2021)

Además de las problemáticas antes mencionadas, crear sistemas de
IA tiene altos costos económicos y ambientales. Actualmente, el entrena-
miento de un sistema de lA de última generación requiere millones de dóla-
res. (Ahmed 8 Wahed, 2020) Por lo que desarrollar este tipo de sistemas
está fuera del alcance de la mayoría de los grupos de investigación, parti-

cularmente de aquellos en el Sur Global. Por otro lado, la enorme cantidad

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

de cómputo requerida para crear estos sistemas ha provocado que el en-
trenamiento de un único sistema de lA produzca emisiones de gases inver-
nadero comparables a las emisiones anuales combinadas de 60 automóviles!

Como hemos observado, mejorar el desempeño de la lA (utilizando
como parámetro principal la exactitud) ha tenido consecuencias significati-
vas en el desarrollo del campo a nivel global. Principalmente el incremento
de los costos e impactos ambientales asociados con el desarrollo de estos
sistemas y en la desigualdad, sobre todo en el Norte y el Sur Global. Por lo
tanto valdría la pena preguntarnos ¿qué ganamos con este enfoque de de-
sarrollo? y sobre todo ¿existen otros caminos posibles?

Por extraño que parezca, aunque la exactitud mide qué tan buenos
son los sistemas para predecir un comportamiento, los incrementos en esta
métrica no hacen que esta tecnología sea más inteligente. Esto es de suma
relevancia, ya que en la actualidad gran parte de la investigación en lA está
enfocada en a diseñar sistemas con mayor desempeño (¡.e., mayor exacti-
tud) en pruebas específicas y en crear nuevas pruebas una vez que las
existentes han sido superadas. (Bender et al., 2021; Schwartz et al., 2020)
Sin embargo, existe poca claridad sobre si esta forma de desarrollar |A
efectivamente crea sistemas con mayor inteligencia o si en realidad los re-
sultados dependen de enormes cantidades de cómputo y datos (en otras

palabras de la estadística). (Bender et al., 2021) Por estos motivos, algunas

[6] Se estima que entrenar el sistema de Procesamiento de Lenguaje Natural GTP-3 generó cerca de 280,000 Kg
de CO2. Para poner esta cifra en perspectiva, consideremos que un auto en Estados Unidos emite en
promedio 4,600 kg de COZ2 al año, lo que significa que las emisiones producidas por el entrenamiento de ese
sistemas de lA fueron equivalentes a las emisiones anuales de 60 automóviles.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

expertas, entre ellas Timnit Gebru, abogan por un cambio en las metas de
investigación que guían la lA y proponen dejar de priorizar diseñar sistemas
con la intención de mejorar su desempeño en pruebas específicas, para
poner énfasis en investigación que ayude a entender cómo es que las má-
quinas superan estas pruebas. (Bender et al., 2021) En otras palabras, se
propone redireccionar las líneas de investigación en lA para mejorar el en-
tendimiento de la manera en la que operan los sistemas, en lugar de seguir
produciendo sistemas más exactos cuyo funcionamiento no entendemos.
Además de enfocar la investigación en lA en mejorar entendimiento
de los sistemas de lA, sería interesante pensar si es posible desarrollar es-
trategias que de manera conjunta permitan aminorar otras problemáticas
derivadas de la excesiva importancia que el campo le ha dado a la exacti-
tud, como el incremento de la desigualdad y de los impactos ambientales.
Afortunadamente, el trabajo sobre lA y cambio climático podría servir como
apoyo para proponer alternativas. En particular, estudios recientes han
identificado la eficiencia como una métrica más adecuada que la exactitud
para evaluar los sistemas de lA. (Cowls et al., 2021; Schwartz et al., 2020)
Esto se debe a que medir la eficiencia significa reportar la cantidad de tra-
bajo requerido para producir un resultado de lA. (Schwartz et al., 2020) Lo
que incluye cuantificar el trabajo requerido para entrenar el modelo y, de
ser aplicable, el trabajo utilizado para todos los experimentos de calibración
(hyperparameter tuning). Algunas de las ventajas de la eficiencia sobre la
exactitud son que esta métrica permite cuantificar impactos ambientales y
favorece mejoras en manejo de recursos (en lugar de favorecer el uso de
mayores cantidades de cómputo). En este sentido, la eficiencia permite

hacer comparaciones más justas entre sistemas, ya que toma en conside-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

ración la cantidad de recursos utilizados para crear los modelos.

Sin embargo, definir qué se entiende por eficiencia no es una tarea
sencilla. Esto se debe a que si queremos que esta métrica sirva para com-
parar sistemas esta debe ser independiente del laboratorio, del tiempo y del
hardware utilizado. Y encontrar la forma de satisfacer estos requerimientos
de forma simultánea no es fácil. Por ejemplo, podría parecer una buena
idea definir la eficiencia de un sistema de lA tomando en consideración la
cantidad de emisiones de carbono generadas durante su desarrollo. El pro-
blema con esta propuesta es que las emisiones generadas por sistemas de
IA dependen de las emisiones de las redes eléctricas y estas varían sus-
tancialmente dependiendo de la localidad y de los tipos de energía (eléctri-
ca, eólica, hidráulica etc). (Cowls et al., 2021) Por lo que las emisiones de
carbono producidas por un sistema de |A dependen del lugar en donde este
fue desarrollado.

Tomando en cuenta esta dependencia entre la localidad y los im-
pactos ambientales, se podría proponer medir la eficiencia tomando en
cuenta la cantidad de electricidad utilizada para crear cada modelo, en lu-
gar de las emisiones de carbono. Esta propuesta tiene la ventaja de ser in-
dependiente tanto del tiempo como de la localización. Además la mayoría
de los GPUs reportan la cantidad de electricidad que consumen, lo que fa-
cilita el cálculo de la cantidad de electricidad requerida para generar cada
modelo de lA. Sin embargo esta métrica tiene un inconveniente, el consu-
mo de energía utilizado para crear un modelo depende del hardware que se
haya utilizado. (Schwartz et al., 2020) Por lo tanto, usar la cantidad de
energía requerida para crear el sistema como métrica es independiente del

tiempo y de la localización, pero no es independiente del equipo. Esto quie-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

re decir que no es trivial encontrar nuevas métricas que permitan hacer
comparaciones más justas entre los sistemas y que tomen en cuenta los
impactos ambientales generados por esta tecnología, ya que estas valori-
zaciones deberán tomar en cuenta que los sistemas de lA son producidos
en diversas localidades que varían tanto en equipo como en infraestructu-
ras, lo que afecta la capacidad de cómputo e impactos ambientales deriva-
dos cada desarrollo tecnológico.

En este sentido, definir nuevas valorizaciones que permitan guiar el
desarrollo de la IA hacia una mayor equidad y sostenibilidad, dependerá de
una reflexión profunda sobre qué queremos priorizar y cuál sería la mejor
manera de hacerlo. Como hemos visto, este proceso debe estar acom-
pañado de un entendimiento de las relaciones de poder y la manera en la
que estas permean tanto la técnica como con la práctica. Es en estas con-
versaciones que las perspectivas feministas y del sur global tienen mucho
que aportar, ya que diseñar estrategias para guiar esta tecnología hacia
nuevos horizontes requerirá conceptualizar intervenciones que permitan re-
direccionar los diversos procesos involucrados este desarrollo tecnológico,
tomando en consideración la manera en la que estos se interrelacionan con
experiencias y contextos específicos. El cambio no será fácil, pero una cosa
es clara: otros caminos son posibles. Construirlos dependerá nuestra capa-

cidad de crear estrategias conjuntas que nos permitan caminar hacia ellos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Entre la técnica y la práctica

REFERENCIAS

Ahmed, N. 8 Wahed, M. (22 de octubre de 2020). The de-democratization of Al:
deep learning and the compute divide in artificial intelligence research
https: //arxiv.org/abs/2010.15581

Amodei, D., 4 Hernandez, D. (21 de junio de 2021). Al and Compute. [Blog post].
OpenAl.

https://openai.com/blog/ai-and-compute/

Bender, E. M., Gebru, T., McMillan-Major, A., 8 Shmitchell, S. (2021). On the
Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In
Proceedings of the 2021 ACM Conference on Fairness, Accountability, and
Transparency (pp. 610-623).
https://dl.acm.org/doi/abs/10.1145/3442188.3445922

Cowls, J., Tsamados, A., Taddeo, M., 4 Floridi, L. (2021). The Al gambit: Leveraging
artificial intelligence to combat climate change —Opportunities, challenges,
and recommendations. Ai 8. Society, 1-25.
https: //link.springer.com/article/10.1007/500146-021-01294-x

Li, C. (11 de septiembre de 2020). OpenAl's GPT-3 Language Model: A Technical
Overview. [Blog post]. Lambda Deep Learning Blog.
https://lambdalabs.com/blog/demystifying-gpt-3/

Markoff, J. (27 de septiembre de 2015). Smaller, Faster, Cheaper, Over: The Future
of Computer Chips. The New York Times.
https://www.nytimes.com/2015/09/27/technology/smaller-faster-cheaper-over-the-future-of-
computer-chips.html

Schwartz, R., Dodge, J., Smith, N. A., 4 Etzioni, O. (2020). Green ai.
Communications of the ACM, 63(12), pp. 54-63.
https://dl.acm.org/doi/abs/10.1145/3381831

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

39

Entre la técnica y la práctica

Thompson, N. C., Greenewald, K., Lee, K. £ Manso, G. (10 de julio de 2020). The
Computational Limits of Deep Learning.
https: //arxiv.org/abs/2007.05558

Zhang, D., Mishra, S., Brynjolfsson, E., Etcthemendy, J., Ganguli, D., Grosz, B.,
Lyons, T, Manyika, J., Niebles, J.C., Sellito, M., Shoham, Y., Clark, J. 8
Perrault, R. (9 de marzo de 2021). The Al Index 2021 Annual Report.
https: //arxiv.org/abs/2103.06312

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para
promover el capitalismo digital:

poder, concentración y exclusión social

Sofía Scasserra

Observatorio de Impactos Sociales
de Inteligencia Artificial-UNTREF
Transnational Institute

Argentina

Indudablemente las nuevas tecnologías han cambiado las formas de vida
en las últimas décadas. No solamente el surgimiento de la digitalización y
las nuevas formas de comunicación, sino, sobre todo, los procesos de au-
tomatización e interacción tecnológica a través de la inteligencia artificial
(IA). Dichos procesos se han naturalizado en las sociedades, pasando de-
sapercibidos y muchas veces, incuestionados. Pero especialistas de todo el
mundo, sobre todo mujeres, han alzado voces respecto a los peligros que
conllevan!”l, Decididamente el feminismo tiene mucho por hacer para que la
brecha de género no se automatice, digitalice y naturalice a través de pro-

cesos que interactúan en lo cotidiano y en las vidas de las personas. Así,

[7] Como el caso de Joy Buolamwini que fundó la Liga de la Justicia Algorítmica para luchar contra los sesgos de género y raciales en los
algoritmos. (AJL, 2016)
https://www.ajl.org/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 40

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

desde el ámbito corporativo, se comenzó un “lavado de cara” a la transfor-
mación digital mostrando la importancia de las cuestiones de género en la
agenda tecnológica.

Sin duda no se podía ignorar el debate y el sesgo evidente que
surgía frente a una tecnología hegemónica que perpetuaba parámetros
sexistas y patriarcales. En ese sentido, existe hoy más conciencia respecto
a la importancia de una lA feminista. Pero, ¿no se estará utilizando esta
agenda para la concentración de poder y continuar con un modelo capita-
lista de acumulación que no tenga en cuenta a las mujeres del sur global”?
En otras palabras: ¿debe la agenda feminista de lA seguir los parametros
corporativos? ¿O es necesario construir nuestras propias narrativas desde
el sur global para que la lA sea verdaderamente feminista, inclusiva y anti-

patriarcal?

CONTEXTO

Es notable cómo la tecnología y las cuestiones de género comenzaron
a tomar preponderancia en la agenda corporatival?l. Se ven programas de in-
clusión de mujeres en programación, slogans rimbombantes dentro de las
GAFAMIÍ?] como “el futuro es femenino”!1% e innumerables simposios y paneles
sobre el cruce de tecnología y género como el gran igualador en la era digital.

Lo que se oye a menudo es que “la tecnología es neutral al género y

[8] A modo de ejemplo, el programa Getting to Equal de Accenture (Accenture, 2020)
[9] Google, Apple, Facebook, Amazon y Microsoft.

[10] Durante un tiempo Facebook entregaba artículos en eventos con ese slogan.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

por ende es el gran igualador. No importa quién está del otro lado, la paga y
las oportunidades son las mismas para todos”. Frases de este estilo son
pronunciadas en Naciones Unidas y otras organizaciones internacionales
como la Organización Mundial de Comercio (OMC) en pos de promover la
agenda de negociación de la economía digitall111.

Nunca antes las empresas y el lobby corporativo estuvieron tan inte-
resados en temas de igualdad de género y si bien puede ser leido como
una oportunidad en algunos términos, indudablemente tambien es un lla-
mado de atención frente a la utilización de la agenda feminista para promo-
ver los intereses corporativos capitalistas. Es decir, no todo está mal, lo que
hay que hacer es analizar cada iniciativa y ver si persigue una finalidad
feminista o es más bien un lavado de cara “rosa” para lograr promover inte-
reses que poco tienen que ver con el feminismo y sus reclamos. Esto ya fue
denunciado por diversos organismos internacionales como la Red del
Tercer Mundo. (TWN, 2017)

En este sentido, podemos ver iniciativas como la del G20 (G20,
2020), que habla de incorporar a las mujeres al comercio electrónico para
promover la igualdad de género. La elección del término “comercio electró-
nico” no es casual. En efecto, la OMC ha denominado al programa de ne-
gociación de desregulación de economía digital “comercio electrónico”, para
hacerlo pasar como un mero tema comercial que nada tiene que ver con

prácticas coloniales y extractivistas, escondiendo así una agenda que apa-

[11] Para ver este tipo de argumentos, se puede visitar la página de la Semana del comercio Electrónico en UNCTAD (UNCTAD, 2019) o el
Foro Público de la OMC (OMC, 2019) donde hay una diversidad de paneles defendiendo esta postura.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

rentemente promueve la inclusión de mujeres en internet, pero que en el
fondo busca generar más concentración digital y desigualdad social en los
años por venir. Todo esto sumado al sistema multilateral de comercio que
diseña una economía que sólo ha tenido impactos negativos en las
mujeres. En la última Reunión Ministerial de Buenos Aires, los gobiernos
firmaron una declaración (OMC, 2017) sobre la importancia de velar por la
igualdad de género en el sistema comercial vigente, declaración que fue
rechazada por más de 220 grupos feministas de todo el mundo (ALWLD,
2018) por considerarla un “lavado rosa” para continuar empujando una

agenda neoliberal que afecta, sobre todo, a las mujeres del sur global.

CAPITALISMO DIGITAL

La industria tecnológica está creciendo a pasos agigantados. El
nuevo capitalismo digital (también denominado capitalismo de vigilancia
(Zuboff, 2019)) está llevando a la economía capitalista a una nueva fase
más tecno-productiva y eficiente, donde el capital tecnológico fagocita a las
industrias tradicionales y las transforma en su formato digital para sobrevivir
(Scasserra 4 Sai, 2020). Plataformas de intermediación, plataformas “pobres”
y plataformas que gestionan plataformas (Srnicek, 2018), son algunas de
las formas que adquieren estas empresas. Esta industria ha tomado el dis-
curso feminista como bandera en muchas escenas internacionales y
reportes. Pero la pregunta es ¿por qué ese interés? Lo cierto es que la
industria necesita cada vez más personas trabajadoras que programen, que
corrijan código, que puedan generar las herramientas para convertir los datos
en información, y esa información en productos vendibles en el mercado. El

ejército de trabajadores de Silicon Valley es enorme, pero no es suficiente.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

Y la masiva publicidad que se hace para lograr “convencer” a más personas
a seguir carreras relacionadas con la tecnología es realmente admirable.
Se podría argumentar que los hombres que están en la industria son insufi-
cientes y que incorporar más trabajadores necesariamente precisa de inclu-
sión social. En efecto, se vislumbra que todo aquel hombre de clase media
que puede y quiere elegir carreras tecnológicas ya lo ha hecho y que incor-
porar más es realmente muy difícil. Sólo queda incorporar al mercado
aquellos que no tienen posibilidad de estudiar, pero eso precisa de políticas
públicas de largo plazo y compromisos sociales. En el medio el discurso fe-
minista aparece como una oportunidad. ¿Será que incluir mujeres en tec-
nología y convencerlas de que es la carrera del futuro es más barato que
hacer inclusión? No se argumenta aquí que no se deba aprovechar la
oportunidad para darle mejores empleos a las mujeres en el largo plazo, si-
no que hay que ser concientes de que el altruismo capitalista de contratar
mujeres, de capacitarlas y de incluirlas, podría no responder a un genuino
deseo de programar lA feminista y mitigar sesgos, sino que responde a una
necesidad de mano de obra. Es más fácil convencer mujeres de clase me-
dia a seguir carreras tecnológicas que incorporar hombres y mujeres sin
estudios al mercado laboral. La agenda corporativa podría estar utilizando
la bandera feminista para llevar adelante sus propios intereses.

En efecto, en diversos foros internacionales se vislumbra un
mensaje feminista, pero este artículo se concentra en uno en particular: la
Organización Mundial de Comercio, donde se están escribiendo las reglas
de la economía capitalista digital. Tanto en el Foro Público de la OMC
(2019), como en la Reunión Ministerial que se realiza cada dos años

aproximadamente, como en la semana del comercio electrónico de la

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

UNCTAD!!! (2019) se organizan paneles sobre la importancia del Comercio
Electrónico para las mujeres. El argumento de base es que la tecnología es
neutral y por ende es el gran igualador. En efecto, al comerciar o trabajar
por internet, no se sabe si el que está del otro lado es hombre o mujer y,
por ende, la paga es independiente de las cuestiones de género. Se argu-
menta entonces que la tecnología nos hará alcanzar la igualdad de remu-
neración y de trato en el largo plazo, pero que además representa una
oportunidad indispensable para las mujeres del sur global, que pueden
vender sus artesanías y exportar a través de plataformas. Todos argumen-
tos que tratan de llevar a la conclusión de que negociar una agenda de
economía digital será beneficioso para las mujeres en el mundo.

Cabe destacar que si bien estos argumentos pueden parecer a pri-
mera vista certeros, son bastante faltos de evidencia y de sustento. Para
comenzar, que una tecnología sea neutral no alcanza para que iguale. De
ser así, la aspiradora o el lavarropa serían elementos igualadores de género,
ya que funcionan perfectamente los enciendan quienes los enciendan. No
obstante, la tecnología es intrínseca a la sociedad y su diseño y utilización
son los que las hacen sexistas, no la tecnología en sí misma. (Thomas €
Buch, 2008) Por otro lado, argumentar que la paga es igual, también es, al
menos, cuestionable: existen estudios que demuestran que las choferes de

UBER ganan un 7% menos que sus colegas hombres debido a la baja cali-

112]

Instancia que se utiliza para debatir las reglas que se negocian en la OMC.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

ficación que reciben solo por ser mujeres (Cook et al., 2020). Podemos su-
poner, además, que el desempeño en términos de responder consultas y
entregar paquetes por venta de canales electrónicos podría ser levemente
inferior en mujeres debido a que se hacen cargo mayormente de la economía
del cuidado y, por ende, disponen de menos tiempo para estar “al servicio
del algoritmo”. Este, entonces, podría “castigarlas” con una más baja calificación,
menos exposición y, por consiguiente, menor volumen de ventas y, en
consecuencia, menor ingreso.

Finalmente, las múltiples barreras que perciben las mujeres al co-
merciar por internet, no solo en términos de tiempo, sino también en términos
de recursos financieros (las mujeres tienen menor acceso al crédito (Au-
guste, 2020), de infraestructura, barreras culturales, de idioma, impositivas, de
estándares comerciales y aduaneros, conforman una serie de limitaciones
que hacen que no sea tan fácil exportar desde el sur global hacia los países
más desarrollados. Puede existir alguna mujer que lo haya logrado, y normal-
mente estos casos son resaltados y mostrados como patrones a seguir, pero
lejos está de ser la realidad de la mayoría de las mujeres. La gran mayoría
de las personas en el sur global utilizan estas plataformas para vender de
forma local, sin capacidad exportadora, limitándose a ser meras usuarias
de tecnología en lugar de configurar una economía que genere y construya
tecnología para el desarrollo y la industrialización digital nacional.

Cuestionados estos argumentos, nos queda por ver qué agenda
promueven para ver si efectivamente es feminista. Se quiere utilizar a las
mujeres como excusa para aprobar la negociación de “comercio electróni-

co” en la OMC. Pero, ¿qué determina esta regulación? Vayamos por parte

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

en sus 5 principales artículos y que implican:

o Libre movilidad de los datos: Este artículo determina que un go-
bierno no puede poner limitaciones respecto a la movilidad de da-
tos ni tener acceso a los mismos una vez que estos se almacenen
en otro lugar fuera de las fronteras del país. Esto es importante
porque los datos, como materia prima de la lA, pueden ser exigi-
dos por los gobiernos para el diseño de políticas públicas o de ins-
trumentos de gestión ciudadana para mejorar la calidad de los
servicios públicos.

o Almacenamiento y procesamiento de datos: establece la prohibi-
ción de que un Estado imponga limitaciones respecto al almace-
namiento y procesamiento de los datos. Esto es fundamental
desde una perspectiva de desarrollo económico, ya que en esas
dos instancias es donde se obtiene el mayor valor agregado de los
datos, al almacenarlos y transformarlos en información que pueda
ser un producto vendible en la economía. Un país no podría impo-
ner restricciones a las empresas respecto a dónde almacenas los
datos y quienes los procesan, limitando la capacidad de elaborar
una estrategia de industrialización digital en el futuro.

o Cero impuestos a las transferencias electrónicas: no hace falta
decir que el comercio de bienes y servicios, hoy día, es digital.
Desde un ebook, pasando por una película, hasta una pieza ela-
borada con una impresora 3D, todo puede ser vendido y entregado
por internet. Este artículo establece que no se pueden cobrar im-

puestos por estas transacciones, limitando seriamente la ca-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

pacidad recaudatoria de los Estados a futuro y la financiación de
servicios públicos e inversión en infraestructura.

o No divulgación del código fuente y algoritmos relacionados: si
algo sabemos de la lA es que tiene sesgos, sus diseños pueden
fallar y que pueden estar incumpliendo normas o tener conflicto
con derechos fundamentales, entre otros peligros. Preservar la ca-
pacidad de auditarlos es fundamental. Este principio busca prohibir
cualquier tipo de auditoría de los algoritmos a futuro. Tan cuestio-
nada es esta norma que se han puesto cada vez más excepciones
a la misma. (Smith, 2017) No obstante, se insiste con preservarla
aun sabiendo las nefastas consecuencias que puede tener en un
futuro en nuestras sociedades.

o Protección de datos personales: el acuerdo no establece están-
dares mínimos obligatorios, sino que insta a los países a trabajar,
informar y cooperar en esta agenda, pero no mucho más que eso,
dejando libre a cada país para establecer sus propios estándares.
Es decir, cuando se habla de desarrollo, limitan la acción estatal, y

cuando se habla de privacidad, dejan libre albedrío.

Como puede verse, la agenda no tiene como objetivo hacer tecno-
logías diversas e inclusivas ni tiene la agenda feminista en mente, sino más
bien desarrolla una serie de medidas tendientes a desregular la materia
prima de la lA, permitiendo a las grandes corporaciones producir a su gusto
la tecnología, limitando la capacidad regulatoria de los Estados y, por ende,
concentrando aun más la producción tecnológica en manos de unos pocos.

Las consecuencias en términos de profundización del sistema capitalista

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

48

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

hacia un capitalismo tecno-eficiente y más concentrado son evidentemente
nocivas para las mujeres, sobre todo en el sur global. En efecto, se utiliza el
discurso feminista para impulsar una agenda que nada tiene que ver con la
inclusión y la igualdad, sino con la concentración y la ganancia por sobre la
gente. Una superestructura que podría llegar a beneficiar a algunas muje-
res en el norte global, vis a vis millones de mujeres en el sur global, cada
vez con peores salarios, con mayores brechas digitales, sin acceso a los
servicios públicos de calidad y sin posibilidad de insertarse en los empleos

del mañana.

Conclusiones

La utilización del feminismo por parte del capitalismo digital para
profundizar un modelo económico es notoria. Desde el feminismo se debe
tomar nota de esta situación, evidenciar mediante investigación académica
y fomentar un cambio discursivo que lleve a una inclusión genuina de todas
las personas a fin de tener una economía digital mas diversa, plural, inclu-
siva y feminista. Evidentemente la concentración de materia prima (datos),
de ganancias a través del no pago de impuestos y de poder al mantener el
secreto algorítmico, solo puede llevar a sociedades más desiguales y anti-
democráticas.

En este sentido, resulta trascendental trabajar en una lA sin sesgos
y en principio éticos fundamentales, pero sigue siendo fundamental mirar la
superestructura normativa supranacional que se está negociando actual-
mente a fin de que no se impongan limitaciones a la capacidad estatal de

intervenir la tecnología en favor de los pueblos, como poderosas herra-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

mientas para transformar la sociedad. La tecnodiversidad teniendo en
cuenta la diversidad cultural no es solamente un deseo con el que soñar, es
fundamental para las democracias y las economías del mundo, si se quiere

soñar con un mañana mejor.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

50

51

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

RECOMENDACIONES

Por todo lo anteriormente dicho es que resulta fundamental:

o Investigar la utilización del feminismo para implementar y profundizar

un sistema de capitalismo digital tecno-eficiente

o Promover el debate y concientizar de que no se firmen estos

acuerdos a instancias supra nacionales

o Promover el debate regulatorio a nivel nacional antes de que se

aprueben estas nocivas normativas internacionales

o Investigar los cruces entre comercio de datos-desarrollos tecnologi-
cos y género que sirvan como argumentos para deterner la utilización

del discurso feminista en estos espacios

o Demostrar la importancia de mantener la capacidad de auditar algo-
ritmos cuestionando, sobre todo, la propiedad intelectual de los mis-

mos, buscando que respeten derechos fundamentales en la sociedad

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

REFERENCIAS

Accenture. (5 de marzo de 2020). Getting to Equal 2020. Accenture. [Blog post.]
https: //www.accenture.com/ca-en/company-news-release-getting-to-equal-2020

Algorithmic Justice League. (2016). Algorithmic Justice League - Unmasking Al
harms and biases. Algorithmic Justice League.
https://www.ajl.org/

Asia Pacific Forum on Women, Law and Development. (2018). Press Release:
Women's Rights Groups call on Governments to Reject the WTO Declaration
on “Women's Economic Empowerment”. Asia Pacific Forum on Women, Law
and Development (APWLD).
https://apwld.org/press-release-164-womens-rights-groups-call-on-governments-to-reject-the-
wto-declaration-on-womens-economic-empowerment/

Auguste, S. (2020). Género y acceso al financiamiento empresario en Argentina.
Banco Interamericano de Desarrollo.
https: //publications.iadb.org/publications/spanish/document/Genero-y-acceso-al-
financiamiento-empresario-en-Argentina.pdf

Cook, C., Diamond, R., Hall, J. V., List, J. A., 8 Oyer, P. (2020). The Gender
Earnings Gap in the Gig Economy: Evidence from over a Million Rideshare
Drivers. Stanford University.
https://web.stanford.edu/-diamondr/UberPayGap.pdf

G20. (2020). Joint Statement on Women in International Trade Networks. G20
Research Group.
http://www.g20.utoronto.ca/b20/B20-W20-Jt-Stmt-on-Women-in-International-Trade-09-20-
2020_Feedback1 .pdf

Organización Mundial del Comercio. (2017). Joint Declaration on Trade and
Women's Economic Empowerment on the Occasion of the WTO Ministerial
Conference in Buenos Aires. Organización Mundial del Comercio.
https://www.wto.org/english/thewto_e/minist_e/mc11_e/genderdeclarationmc11_e.paf

Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe B2

La utilización del feminismo para promover el capitalismo digital
poder, concentración y exclusión social

Organización Mundial del Comercio. (2019). WTO | Public Forum 2019 — Trading
Forward: Adapting to a Changing World. Organización Mundial del Comercio.
https: //www.wto.org/english/forums_e/public_forum19_e/public_forum19_e.htm

Scasserra, S., 8 Sai, L. F. (2020). La cuestión de los datos. Plusvalía de vida,
bienes comunes y Estados inteligentes. Buenos Aires: Fundación Friedrich
Ebert.
http://www.fes.org.ar/public/LAY%20CUESTIVWC3%93N%20DE%20LOS%20DATOS.pdf

Smith, S. R. (2017). Some preliminary implications of WTO source code proposal.
Introduction. Third World Network (TWN).
https://www.twn.my/MC1 1/briefings/BP4.pdf

Srnicek, N. (2017). Capitalismo de plataformas (A. Giacometti, Trad.). Buenos Aires:
Editorial Caja Negra.

Thomas, H., 8 Buch, A. (Eds.). (2008). Actos, actores y artefactos: Sociología de la
tecnología. Quilmes: Universidad Nacional de Quilmes Editorial.

Third World Network. (2017). 'Pink washing' WTO with draft women's declaration?
Third World Network (TWN).
https://www.twn.myítitle2/wto.info/2017/t1171228.htm

United Nations Conference on Trade and Development. (2019). eCommerce Week
2019: from Digitalization to Development. United Nations Conference on
Trade and Development.
https://unctad.org/meeting/ecommerce-week-2019-digitalization-development

Zuboff, S. (2019). The age of surveillance capitalism: The fight for a human future at
the new frontier of power. Londres: Profile Books.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el

cumplimiento de los

Objetivos de Desarrollo

Sostenible: ts

crítica desde una perspectiva feminista Red Seguridad Humana
en América Latina

y el Caribe (SEHLAC)

latinoamericanal!??l Sr
exiCco

El más reciente auge de la inteligencia artificial ha venido acompañado del
desarrollo de diferentes iniciativas y proyectos que afirman utilizar inteli-
gencia artificial (IA) para acelerar el cumplimiento de los Objetivos de De-
sarrollo Sostenible (ODS) en el marco de la Agenda 2030. (UNESCO, s.f.)
Sin embargo, existen proyectos que se autodenominan como “lA para los
ODS” o “lA para el bienestar social” cuando en realidad no cumplen con
criterios reconocidos internacionalmente como indispensables para imple-
mentar dicha agenda; por ejemplo, una perspectiva transversal de género o
un monitoreo basado en indicadores de derechos humanos que permitan

evaluar de manera objetiva y verificable su impacto. De acuerdo con el

[13]

Con agradecimiento sincero a Paola Ricaurte, Mariana Díaz Figueroa y Christian Lemaitre por sus comentarios al primer borrador de
este texto.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

informe del Global Partnership on Artificial Intelligence - GPAIM4l realizado
por The Future Society (2021):

Muchas iniciativas dentro del ecosistema de lA
responsable tienen métricas poco claras para
monitorear el progreso... estas carecen también de
metodologías sólidas para evaluar su impacto. Esto
dificulta evaluar su desempeño, en particular cuando
se trata de avanzar en el progreso hacia los ODS de
la ONU. (The Future Society, 2021)

Este artículo explorará dos preguntas:

1. ¿Cuáles son los criterios fundamentales que deberían
considerarse para evaluar si un sistema o aplicación de |A contribuye
de manera efectiva y comprobable a los ODS?

2. ¿Qué elementos de análisis nos aporta un abordaje

feminista de este tema?

Es importante reflexionar sobre estas cuestiones para adoptar una
mirada crítica de los discursos sobre aplicaciones de inteligencia artificial

que, de manera intencional o no intencional, pueden en realidad replicar

[14]

The Global Partnership on Artificial Intelligence (GPAI). La Alianza Global sobre Inteligencia Artificial es una iniciativa internacional y de
múltiples partes interesadas que tiene como objetivo promover el desarrollo y el uso responsable y centrado en el ser humano de la
inteligencia artificial. https://gpai.ai/ (N. de las Eds.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

modelos de dominación y sistemas de opresión dentro de un mismo país, o
a nivel internacional; inclusive si se denominan a sí mismos “lA para el bie-
nestar social”.

Asimismo, es fundamental cuestionar si los enormes recursos que
hoy se destinan a la inteligencia artificial “para los ODS” son efectivamente
la manera más eficaz de contribuir a su cumplimiento. (IDC, 2022) Sería
fundamental contar con estudios comparativos que evalúen si los miles de
millones que se invierten (o en algunos casos, malgastan) en inteligencia
artificial son la forma más pertinente, eficaz, eficiente, sostenible y con
mayor impacto (OCDE, 2019) de cumplir con la Agenda 2030; en particular
si se compara con la alternativa de destinar esos mismos recursos a las
organizaciones de base que hoy en día enfrentan enormes dificultades para
acceder a los medios necesarios para implementar sus propios proyectos,

diseñados localmente.

1. Un análisis feminista de los impactos diferenciados de la util-

ización de la inteligencia artificial

De acuerdo con la UNESCO (2021), la inteligencia artificial puede
definirse como aquellos “sistemas tecnológicos con capacidades de proce-
sar información de una manera que se asemeje a un comportamiento inte-
ligente, y abarca generalmente aspectos de razonamiento, aprendizaje,
percepción, predicción, planificación o control”. Entre los desafíos, se reco-
nocen diferentes riesgos y afectaciones que son cada vez más identificados

y denunciados, en particular desde la sociedad civil y la academia.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Ol

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

Tomemos como base la definición de Márgara Millán (2019), que

dice que hoy los feminismos son

(...) algo más parecido a una plataforma
antisistémica de lucha contra la violencia, que
reconoce que la situación diversa de las mujeres y
sus distintas opresiones y violencias están
contenidas en una estructura capitalista, colonial y
patriarcal. Y que son esas estructuras las que hay
que transformar (...)

Si analizamos los riesgos y afectaciones de la inteligencia artificial
desde esa perspectiva, veremos que estos no tienen un impacto similar a
nivel global, ni entre los grupos poblaciones que enfrentan esas distintas

opresiones y violencias. Por ejemplo:

1. Los sesgos en sistemas de inteligencia artificial tienen un im-
pacto negativo desproporcionado en grupos históricamente vulne-
rados, en particular mujeres y personas racializadas, como lo han
demostrado Dr. Joy Buolamwini, Dr. Timnit Gebru e Inioluwa De-
borah Raji. (Buolamwini € Gebru, s. f.; Gebru, 2020; Hao, 2020)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

2. La militarización de la inteligencia artificial tendría un impacto
desproporcionado en el sur Global, países en conflicto y grupos
históricamente marginados; como lo han hecho otras nuevas tec-
nologías para uso militarl*51.

3. Las deepfakes, además de un posible riesgo a la seguridad in-
ternacional, ya están siendo utilizados para cometer violencia de
género en línea. (Venema, 2020)

4. La utilización de reconocimiento facial facilitado por inteligencia
artificial para fortalecer la vigilancia policial se está utilizando
contra la sociedad civil organizada, incluyendo organizaciones fe-
ministas que protestan contra el feminicidio y otras formas de vio-
lencia de género. (Pérez Villoro 8 Robles, 2020).

5. La amplificación de desinformación masiva puede fungir impu-
nemente como facilitador de genocidio por su amplificación de
discursos de odio, como en el caso del conflicto actual en Etiopía.
(Mwai, 2021)

6. La falta de transparencia, rendición de cuentas y reparación del
daño en su uso por la toma de decisiones en política pública afec-
ta en su mayoría a grupos marginados. (Engler, 2021; Scheneider,
2020; Ledford, 2019)

[15] Cf. The Republic of Costa Rica, the Republic of Panama, the Republic of Peru, the Republic of the Philippines, the Republic of Sierra
Leone and the Eastern Republic of Uruguay. (s. f.). [Documento de trabajo conjunto.] https://documents.unoda.org/wp-
content/uploads/2021/06/Costa-Rica-Panama-Peru-the-Philippines-Sierra-Leone-and-Uruguay.pdf
Muñoz, W. 8 Díaz, M. (2021). The risks of autonomous weapons: an intersectional analysis. Seguridad Humana en Latinoamérica y el
Caribe. https://bit.ly/SehlacAWSBias
Austrian Ministry for European and International Affairs. (2021). Safeguarding human control over autonomous weapons systems.
https://bit.ly/LAWSVienna

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

7. Existen empresas que utilizan mano de obra en condiciones de
empleos no dignas, en campos de refugiados y zonas periurbanas
en situación de pobreza, para etiquetar imágenes utilizadas en lA.
(Jones, 2021)

Un análisis feminista nos permite entonces identificar esta clara ten-
dencia: las consecuencias negativas impactan de manera desproporciona-
da a grupos marginalizados, especialmente del sur global; esto, al mismo
tiempo que una gran parte de quienes producen la inteligencia artificial
mantiene que no es necesaria ninguna regulación, pues alegan que esto
impediría la innovación y limitaría la competitividad. Ante este panorama,
constatamos que la inteligencia artificial puede contribuir a mantener una
desigualdad que fortalece las estructuras actuales de poder y reproduce los
sistemas de opresión históricos, si no se toman medidas específicas para
evitarlo.

Ahora bien, en los últimos años, a nivel internacional se han desa-
rrollado tendencias y narrativas que buscan promover la utilización de inte-
ligencia artificial como acelerador de los Objetivos de Desarrollo Sostenible.
Ejemplos de estas iniciativas incluyen Al for Goodl*8l, SDG Al LABÍ?71, |R-
CAI y Global Partnership for Artificial Intelligence!*8l, cuya misión es especí-
ficamente “apoyar el desarrollo y uso de inteligencia artificial tomando como

base los derechos humanos, la inclusión, la diversidad, la innovación y el

[16] https://ai4good.org/ai-for-sdgs/
[17] https://sdgailab.org/

[118] https://ircai.org

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

crecimiento económico, buscando responder a los Objetivos de Desarrollo
Sostenible de Naciones Unidas”. (Benjio 8 Chatila, 2020) Estas iniciativas
tienen en común el objetivo de buscar documentar y promover el uso de in-
teligencia artificial en sectores específicos vinculados con los ODS, como el
cambio climático y la biodiversidad, la educación y el empleo, e incluyen
frecuentemente proyectos desarrollados —al menos en parte— en el norte
global, e implementados en el sur global. En otras palabras, estamos ha-
blando de proyectos de cooperación internacional.

En este contexto, como lo afirman Vinuesa et al. (2019), un desafío
importante de los desarrollos basados en inteligencia artificial es que se
basan principalmente en las necesidades y los valores de aquellos países
en que se desarrolla la lA. De ahí la importancia de identificar, visibilizar,
documentar, sistematizar, financiar e impulsar a las iniciativas de este tipo
que son desarrolladas en los países del sur globall1?1.

Por otra parte, si bien la cooperación internacional y multilateral ha
acordado principios y metodologías para implementar dicha cooperación de
manera pertinente, eficaz, eficiente, sostenible y con impacto claramente
documentado, las organizaciones e instituciones que desarrollan inteligen-
cia artificial no necesariamente conocen y trabajan con esas metodologías.
Esto es tan sorprendente como inaceptable: para contribuir al cumplimiento

de los ODS, la respuesta no puede limitarse a desarrollar una aplicación de

[19] Ver por ejemplo, en el caso de México, esta sesión sobre Inteligencia Artificial y Objetivos de Desarrollo Sostenible realizada en el
marco de la Reunión Internacional de Inteligencia Artificial y sus Aplicaciones (RIIAA) en 2022:

https://www.youtube.com/watch?v=fL¡SMdo5Wik

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

IA en un sector como salud o empleo; o identificar como “beneficiarios”1201 a
personas con discapacidad o mujeres en situación de pobreza. Examinare-

mos esto en mayor detalle en el siguiente apartado.

2. El bienestar social no se improvisa: medidas necesarias para
garantizar que las aplicaciones de inteligencia artificial realmente con-
tribuyan al cumplimiento de los ODS

Es innegable que la inteligencia artificial puede tener un impacto po-
sitivo en diferentes sectores y beneficiar a personas en situación de vulne-

rabilidad y marginación!?11. Sin embargo, de acuerdo con Vinuesa et al.,

la gran riqueza impulsada por la tecnología que la
inteligencia artificial tiene el potencial de crear puede
ir principalmente hacia quienes ya tienen mayor
educación y bienestar; mientras que el
desplazamiento laboral deja a otras personas en
peor situación. La creciente importancia económica
de la lA puede resultar en un aumento de
desigualdades debidas a la desigual distribución de

[20] Ha habido un cuestionamiento del término “beneficiarios” pues se considera que lleva una connotación paternalista que considera a las
personas que participan en los proyectos como recipientes pasivos de ayuda internacional.

[211 Para ejemplos concretos, ver por ejemplo: The Future Society (2020). Areas for future action in the responsible Al ecosystem. Section
2.2 Shortlisted Initiatives. https://gpai.ai/projects/responsible-ai/areas-for-future-action-in-responsible-ai.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

la educación y de los recursos informáticos en todo
el mundo. (2020, p.6)
Amina Mohamed, Vice Secretaria de Naciones Unidas, lo ha

expresado también:

Por un lado, la inteligencia artificial puede permitir un
progreso más rápido en muchos de los Objetivos de
Desarrollo Sostenible a través de soluciones
innovadoras, un uso más eficiente de los recursos y
una mejor toma de decisiones a través del análisis
de big data. Por otro lado, puede perpetuar sesgos y
desigualdades; o incluso usarse intencionalmente
para violar los derechos humanos y desarrollar
aplicaciones que perjudiquen a individuos y
sociedades. (UN, 2020)

¿Qué nos señalan estas afirmaciones? Nuevamente encontramos
que los riesgos, daños y beneficios de la inteligencia artificial no están re-
partidos de manera igualitaria: afectan más a quienes ya están marginali-
zados por la pobreza y sistemas históricos de opresión como el racismo, el
sexismo, el colonialismo y el capacitismo.

Cualquier proyecto que no tome medidas específicas para visibilizar
y responder a esta discriminación sistémica, contribuirá a fortalecerla. Y en
el caso de la inteligencia artificial, si no se toman estas medidas, las conse-

cuencias pueden ser todavía más graves por el alcance y la velocidad con

Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe 62

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

las que sus aplicaciones se producen y reproducen; así como por los
montos económicos extraordinarios que se están utilizando para dichos
sistemas se desarrollen e implementen sin que existan estudios comparati-
vos que demuestren que ese es el uso más eficaz de esos recursos.

¿Qué medidas son las que deben tomarse? Las metodologías exito-
sas —por ejemplo, las políticas que buscan garantizar la igualdad de géne-
ro y el acceso a derechos de personas con discapacidad— aplicadas a
diferentes sectores se basan en un enfoque “de doble vía” que busca, por
un lado, implementar acciones específicas para fomentar la autonomía,
capacidades y conocimientos de derechos por parte de las personas perte-
necientes a grupos vulnerados; y por otro, tomar medidas específicas para
que los proyectos, servicios, programas y políticas públicas sean realmente
inclusivos y respondan a las prioridades de todos y todasl?22l. Esto se
fundamenta, también, en el principio de la Agenda 2030 “No dejar a nadie
atrás”. (G5NUDS, 2020)

A partir, entonces, de dos elementos:

1. Una perspectiva feminista que nos permita reconocer que la inteli-
gencia artificial replica y amplifica sesgos y afectaciones de manera

desproporcionada contra grupos marginalizados y el sur global,

[22] Sobre el enfoque de doble vía, conferir Naciones Unidas. (s. f.). Estrategia de las Naciones Unidas para la inclusión de la
discapacidad.
https://www.un.org/es/content/disabilitystrategy/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

2. Constatar que de acuerdo con metodologías bien establecidas y
reconocidas internacionalmente, es necesario tomar acciones es-
pecíficas para contribuir a los ODS bajo el principio de “No dejar a
nadie atrás”, se propone que todo proyecto con aplicaciones de inteli-
gencia artificial que afirme tener como objetivo contribuir al bienestar
social o a los ODS debe cumplir, monitorear e informar sobre los si-

guientes estándares mínimos:

1. Establecer alianzas formales con organizaciones repre-
sentativas de los grupos que se busca beneficiar. Dicha
alianzas (no solo consultas) son esenciales desde una pers-
pectiva de derechos humanos y para garantizar la relevancia,
aceptabilidad, utilidad y sostenibilidad de cualquier proyecto,
incluyendo aquellos que involucran aplicaciones de inteligencia
artificial.

2. Mapear las causas del problema que se busca resolver,
y las causas subyacentes (o “causas raíz”). Este mapeo (fre-
cuentemente realizado en la forma de “árbol de problemas”)!231
debe ser realizado con diversos actores incluyendo a las per-
sonas que se quiere beneficiar. El objetivo es entender bien la
problemática y las soluciones que se requieren para responder

a ella; y dentro de ese amplio panorama, identificar con mayor

[23] Para saber más sobre esta metodología, cf.: CONEVAL. Boletín de Monitoreo: Elaboración de árbol de problemas y árbol de objetivos.
https://www.coneval.org.mx/Informes/boletin_coneval/boletin_monitoreo_01_2013/nota3.html

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

64

65

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

[24]

precisión si se requiere o no una solución que involucre lA;
además de cómo vincular con otras iniciativas y actores
que ya están buscando responder a los mismos problemas.
Es fundamental que este sea un análisis realizado de ma-
nera profesional y con los actores relevantes de sociedad
civil y autoridades responsables, de manera que se analice
honestamente si realmente es necesaria una aplicación de
lA, a quién beneficiaría y a quién afectaría su utilización y si
los recursos disponibles tendrían mayor impacto y sosteni-
bilidad siendo destinados a otros programas.!241

3. Aplicar un enfoque de derechos humanos. Este ele-
mento involucra acciones en diferentes aspectos; se resal-
tan dos elementos fundamentales (UNSDG, 2003):

a. La narrativa y documentación del proyecto identifica
claramente los derechos humanos relacionados con la
temática que se trabaja en instrumentos jurídicamente
vinculantes a nivel nacional e internacional, y se busca
cumplir con sus principios en la práctica;

Con ello se busca prevenir situaciones como esta: en 2012 se realizaron consultas en comunidades camboyanas en situación de
extrema pobreza para determinar qué sectores identificaban como prioridades para recibir inversión extranjera de una organización
multilateral. Al contrastar con sorpresa que todas nombran a las autopistas como prioridad número uno e inquirir al respecto, líderes
comunitarios respondieron que se habían puesto de acuerdo con antelación ya que la institución cooperante solo financiaría
infraestructura de ese tipo. Es decir, si realmente hubiera indicado sus prioridades —salud materno-infantil, prevención de la
desnutrición, drenaje en los hogares y educación de calidad- no hubieran recibido apoyo. Esto es un ejemplo de donantes que buscan
imponer sus agendas, no realmente apoyar a las comunidades en sus propios procesos y proyectos. Fuente: Experiencia propia de la
autora.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

b. Se identifica y menciona explícitamente quiénes son
titulares de derechos y de obligaciones del sector en el
que se está trabajando.

4. Vincular con la Agenda 2030 a nivel nacional/local.
Los proyectos que incorporen lA con el objetivo de contri-
buir a los ODS deben estar articulados con las instancias
responsables de implementar y monitorear dicha agenda
en diferentes sectores. Esto, con el fin de garantizar que
dichos proyectos realmente respondan a las prioridades a
nivel nacional, que están coordinados con otras instancias
e iniciativas para responder a los mismos desafíos y que
sus resultados se contabilizan de acuerdo con las metas e
indicadores establecidos en cada país.

5. Planificar, diseñar, implementar, monitorear y evaluar
los proyectos que utilizan sistemas de lA con las organiza-
ciones representativas de los grupos que se busca
beneficiar.

6. Incluir indicadores de derechos humanos en sus pla-
nes de monitoreo y evaluación. Dichos indicadores deben
de ser definidos y acordados sobre la base de derechos

humanos y de manera participativa. (ACNUDH, 2012)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

67

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

7. Aplicar una perspectiva de género, como lo requiere,
también, la Recomendación de la Ética en Inteligencia
Artificial de la UNESCO (UNESCO, 2021) e interseccional-
idad!?81 que involucre, de acuerdo con el enfoque de doble
vía:

a. Tomar iniciativas específicas para garantizar que
mujeres, personas de diferente orientaciones sexuales
e identidades de género, diferentes grupos etarios y
otras características conozcan sus derechos y tengan la
información, recursos y habilidades necesarias para
beneficiar del proyecto con aplicaciones de lA.

b. Asegurarse de que todas las iniciativas, actividades,
sistemas del proyecto que incluye lA son diseñadas,
implementadas y evaluadas con la participación de mu-
jeres, personas de diferentes orientaciones sexuales e
identidades de género y otras características diversas, y
tomando en consideración sus prioridades.

Entre las organizaciones representativas se encuentran las
de mujeres, personas con discapacidad, afrodescendi-
entes, pueblos originarios, migrantes, personas viviendo

con VIH, personas con diversas orientaciones sexuales e

[25] Término acuñado por Kimberly Crenshaw. Sobre interseccionalidad, ver por ejemplo: Asociación para los Derechos de la Mujer y el
Desarrollo. (2004). Interseccionalidad: una herramienta para la justicia de género y la justicia económica. Derechos de las mujeres y
cambio económico, Núm. 9.
https://www.awid.org/sites/default/files/atoms/files/nterseccionalidad__una_herramienta_para_la_justicia_de_genero_y_la_justicia_econ
omica.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

identidades de género, víctimas de conflictos y poblaciones
zonas rurales y remotas, entre otras.

8. Desarrollar un plan de sostenibilidad que incorpore
acciones y designe recursos específicos a lo largo del
proyecto con el objetivo de garantizar que este podrá con-
tinuar después de la intervención externa, o al menos
quedarán habilidades y recursos instalados para evitar que
se cree dependencia del apoyo externo. Esto puede incluir
el desarrollo de capacidades de los actores locales para
implementar un proyecto similar y apoyo para identificar
recursos económicos para su continuación, incluyendo la
movilización de recursos nacionales. Esto es fundamental
para diferenciarse de proyectos con aplicaciones de lA
autollamados “para el bienestar social” cuyo objetivo prin-
cipal es en realidad buscan comercializar sus propios pro-
ductos en el sur global y fomentar una dependencia de
productos del exterior.

9. Analizar el impacto en el medio ambiente y tomar me-
didas para mitigarlo.

10. Establecer medidas de salvaguardia y protección
con el objetivo de proteger a la población beneficiaria de
posible acoso y abuso sexual. (OXFAM, s.f; CARE, 2022)
11. Repartir los recursos de forma equitativa de tal ma-
nera que se reconozcan también económicamente las con-
tribuciones del sur global y sus organizaciones. De no

hacerlo, se perpetúa la desigualdad al mantener a quienes

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

69

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

participan en los proyectos como simples “beneficiarios”,
mientras la mayor parte de los recursos e ingresos de di-

chos proyectos se mantienen en el norte global.

Por otra parte, considerando que algunos proyectos con aplicaciones
de “inteligencia artificial para el bienestar social” provienen del norte global
(donde se produce la mayor parte de la tecnología) y se implementan en
sur global (donde se implementan los proyectos), conviene también analizar
la temática desde una perspectiva de política exterior feminista.

De acuerdo con el Centro de Política Exterior Feminista (CFFP,
2022) una política exterior feminista puede definirse como “un marco políti-
co centrado en el bienestar de las personas marginadas que busca lanzar
procesos de autorreflexión con respecto a los sistemas globales jerárquicos
de política exterior desde el punto de vista de grupos históricamente margi-
nados.” Este mismo Centro afirma que una política exterior feminista

permite:

elevar las experiencias y la agencia de las mujeres
y los grupos marginalizados para examinar las
fuerzas destructivas del patriarcado, la coloniza-
ción, la heteronormatividad, el capitalismo, el ra-
cismo, el imperialismo y el militarismo. Un enfoque
feminista de la política exterior proporciona una
lente poderosa a través de la cual podemos inter-
rogar los violentos sistemas globales de poder que
dejan a millones de personas en estados perpetu-
os de vulnerabilidad. (CFFP, 2022)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

Desde esta perspectiva, podemos cuestionar las prioridades de
quienes desarrollan inteligencia artificial en el norte global “para el bienestar
social”. ¿Qué sistemas de poder se fortalecen cuando se asignan cantida-
des millonarias de recursos (públicos o privados) a instituciones del norte
global desarrolladoras de inteligencia artificial, bajo pretexto de que son
para el "bienestar social", cuando estas no incorporan las mínimas buenas
prácticas y metodologías mencionadas anteriormente, que son fundamen-
tales si realmente se busca cambiar la balanza de poder hacia un mundo
más equitativo?

¿Es la inversión en desarrollos de inteligencia artificial piloteados por
el norte global la mejor utilización de recursos para promover el bienestar
social de quienes siguen viviendo hoy en día bajo diversas opresiones?

La cooperación internacional es fundamental y ha impulsando un
sinnúmero de proyectos y avances alrededor del mundo -— pero esta solo es
significativa cuando cumple con los criterios enumerados anteriormente y
cuestiona claramente los sistemas de opresión en que se desenvuelve.

Por estas razones y muchas otras, es fundamental cuestionar las
narrativas de inteligencia artificial para “el bienestar social” desde una
crítica feminista: debemos impedir que se sigan perpetuando los sistemas
de opresión, incluyendo aquellas utilizaciones de inteligencia artificial que lo
hacen sólo de nombre con el fin de contribuir al bienestar social y los

Objetivos de Desarrollo Sostenible.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Conclusiones

Al permitir que aplicaciones de la IA se autonombren como “lA para
los ODS” sin exigir criterios mínimos de calidad ya establecidos como fun-
damentales para cumplir con la Agenda 2030, se perpetúa la desigualdad
sistémica entre quienes producen tecnología de punta (principalmente, una
minoría con privilegios) y quienes la reciben (mayoría históricamente mar-
ginalizada, incluyendo la mayoría del sur global). Esto fortalece, también, la
noción de que estos últimos no somos más que beneficiarios de soluciones
desarrolladas por terceros, en lugar de reconocer que somos actores de
nuestro propio bienestar; y nuestros Estados son los titulares de obligacio-
nes para garantizar nuestros derechos.

Un acercamiento feminista al tema nos permite identificar y constatar
estos desafíos, lo cual, aunado a un conocimiento de las metodologías
concretas para mejorar la calidad de vida y verdadero acceso a derechos
en igualdad de condiciones, nos puede llevar realmente a desarrollar siste-
mas y aplicaciones de inteligencia artificial que respondan verdaderamente
a nuestras prioridades y necesidades. Es necesario trabajar desde estas
dos perspectivas para proponer respuestas concretas que busquen y logren
que la inteligencia artificial realmente sea una herramienta no solo para el
bienestar, sino para la implementación de los derechos humanos de quie-
nes han vivido y siguen viviendo en la exclusión y la opresión.

Necesitamos conocer y difundir nuestros derechos y desarrollar la
agencia necesaria para poner nuestras propias reglas y parámetros y exigir
rendición de cuentas -y en su caso, reparación del daño- de quienes desa-
rrollan e implementan aplicaciones inteligencia artificial, ya sea en el sector

académico, público o privado; tanto en el norte como el sur global.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

Esto requiere acciones clave como divulgar información sobre
derechos humanos y digitales ante la población en general; movilizar a
organizaciones feministas y de derechos humanos en estos temas; y desa-
rrollar legislación y estrategias nacionales digitales. También requiere que
los organismos internacionales y de Naciones Unidas tomen conciencia de
estos desafíos y no promuevan el uso de aplicaciones de inteligencia artifi-
cial que solo contribuyen a los ODS en su discurso, contraviniendo las
buenas prácticas y los principios que han sido desarrollados por esos
mismos organismos internacionales y el andamiaje internacional de los de-
rechos humanos.

Finalmente, no permitamos que la inteligencia artificial se presente
como la panacea. El Sur Global no quiere y no necesita ser “un proyecto”
más, tampoco necesitamos caridad ni buenas intenciones; sino igualdad de
género, justicia social, económica y medioambiental a nivel nacional y en el
sistema internacional. Los millones que se invierten en inteligencia artificial
“para los ODS” podrían hacer cambios extraordinarios en organizaciones
de base, que en la mayor parte de los casos no requieren soluciones de in-
teligencia artificial como prioridad- eso sí sería una innovación y un desafío

a los sistemas que perpetúan la desigualdad a diferentes niveles.!?€l

[26] Un ejemplo es el caso de una organización productora de inteligencia artificial que al ofrecer sus soluciones a una organización local,
se percató —a través de un diálogo sustantivo que es ejemplo buena práctica— de que lo que la organización local requería era
aprendizaje del uso de tablas en Excel y optimizar su conocimiento de Word, no inteligencia artificial; y se la acompañó en sus
necesidades específicas. La entrevista completa de Luciana Benotti a Sasha Luccioni está disponible en: Fundación Vía Libre. (2021).
Inteligencia artificial para el bien ¿de quién? / Who benefits from Al for Good? [Video].
https://www.youtube.com/watch?v=TYaoiLVE3vY

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

73

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

El camino es largo, pero herramientas como la Recomendación de la
UNESCO sobre la ética de la inteligencia artificiall271 e iniciativas como la
Red de Investigación sobre Inteligencia Artificial Feminista son excelentes
vías, recursos e indicadores de que vamos por el camino correcto: otra for-

ma de concebir e implementar la inteligencia artificial es posible.

RECOMENDACIONES

o A personas e instituciones desarrolladoras de inteligencia artificial
que tengan como objetivo contribuir al bienestar social y los ODS, se
recomienda crear alianzas con organizaciones representativas de grupos
marginados y capacitarse en metodologías para implementar proyectos en
diferentes sectores promoviendo los derechos humanos, la igualdad de

género y la justicia social, tal y como lo demanda la Agenda 2030.

o A las instancias gubernamentales, se recomienda capacitarse en in-
teligencia artificial desde una perspectiva de derechos humanos e igual-
dad de género, desarrollar legislación, establecer estrategias e impulsar
diálogos inclusivos a nivel nacional que incluyan la sociedad civil y gru-
pos representativos, y que permitan garantizar que la inteligencia artifi-
cial se va a desarrollar, monitorear y evaluar acorde con los derechos
humanos y las prioridades nacionales, poniendo en el centro a las po-
blaciones marginadas de acuerdo con el principio de “No dejar a nadie

atrás”.

[27] https://es.unesco.org/artificial-intelligence/ethics

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

o A la sociedad civil, en particular organizaciones feministas, defen-
soras de derechos humanos y organizaciones representativas de
grupos marginados, se recomienda informarse sobre los desafíos a de-
rechos humanos que representa la inteligencia artificial, exigir diálogos
con las instituciones que la desarrollan e instituciones gubernamentales
relevantes para garantizar que la inteligencia artificial no se utilice en
maneras que contravengan nuestros derechos humanos o avancen
agendas internacionales a costa del propio bienestar de la población del

sur global.

o A organismos internacionales, de Naciones Unidas y agencias de
cooperación, se recomienda adoptar una mirada crítica ante las aplica-
ciones de lA “para los ODS” y exigir que dichos proyectos implementen,
por un parte, los mismos estándares que se exigen a todo proyecto de
cooperación internacional; y por otra parte, tomen medidas específicas
como son aquellas necesarias para obtener el consentimiento libre e
informado, garantías al derecho a la privacidad y medidas de reparación

del daño por uso de lA, en caso de haberlo.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

REFERENCIAS

Al for Good. (s.f.). Al + sustainable development goals.
https://ai4good.org/ai-for-sdgs/

Austrian Ministry for European and International Affairs. (2021). Safeguarding
human control over autonomous weapons systems.
https://eventmaker.at/bmeia/laws_conference_2021/streaming.html

Benjio, Y. 8, Chatila, R. (2020). An introduction to the Global Partnership on Al's
work on responsible Al. Al Policy Observatory. Organización para la
Cooperación y el Desarrollo Económicos.
https://oecd.ai/en/wonk/an-introduction-to-the-global-partnership-on-ais-work-on-responsible-ai

Buolamwini, J. 8 Gebru, T. (s.f.). Gender shades. Algorithmic Justice League
Project - MIT MediaLab.
http://gendershades.org/index.html

Cooperative for Assistance and Relief Everywhere. (2022). Política de salvaguardia
de CARE International: Protección contra el acoso sexual, la explotación y
abuso y el abuso infantil.
https://www.careinternational.org/files/files/CARE%20International/20Safeguarding%20Policy
%20effective%2015%20AprilY202020%20Spanish(1).pdf

Centre for Feminist Foreign Policy. (s.f.). Feminist foreign policy.
https://centreforfeministforeignpolicy.org/feminist-foreign-policy

Engler, A. (12 de marzo de 2021). Auditing employment algorithms for
discrimination. Center for Technology Innovation. Brookings.
https://www.brookings.edu/research/auditing-employment-algorithms-for-discrimination/

Fundación Vía Libre. (2021). Inteligencia artificial para el bien ¿de quién? / Who
benefits from Al for Good? [Youtube].
https://www.youtube.com/watch?v=TYaoiLVE3vY

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Gebru, T. (2020). Google and big tech are 'institutionally racist'. BBC News.
https://www.bbc.com/news/technology-55281862

Grupo de las Naciones Unidas para el Desarrollo Sostenible. (2020). No dejar a
nadie atrás: Una guía operativa del Grupo de las Naciones Unidas para el
Desarrollo Sostenible para los equipos de las Naciones Unidas en los países.
[Informe técnico.]
https://unsdg.un.org/es/resources/no-dejar-nadie-atras-una-guia-operativa-del-grupo-de-las-
naciones-unidas-para-el

Hao, K. (17 de junio de 2020). Visionaries. Technology Review. Massachusetts
Institute of Technology.
https://www.technologyreview.com/innovator/inioluwa-deborah-raji/

International Data Corporation. (17 de marzo de 2022). Spending on artificial
intelligence solutions will double in the United States by 2025, according to a
new IDC spending guide. IDC.
www.idc.com/getdoc.jsp?containerld=prUS48958822

International Research Centre of Artificial Intelligence.
https://ircai.org

Jones, P. (22 de septiembre de 2021). Refugees help power machine learning
advances at Microsoft, Facebook, and Amazon. Rest of world.
htips://restofworld.org/2021/refugees-machine-learning-big-tech/

Ledford, H. (2019). Millions of black people affected by racial bias in health-care
algorithms. Nature.
https://www.nature.com/articles/d41586-019-03228-6

Mwai, P. (25 de marzo de 2021). Tigray conflict: The fake UN diplomat and other
misleading stories. BBC News.
https://www.bbc.com/news/56456535

Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe 76

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Millán, M. (2019). Feminismos emergentes: descolonización y crisis civilizatoria. En
Ribeiro, C. 8 Monte, M. A. (Eds.) Feminismos descoloniais e outros escritos
feministas, pp. 229-246. Expressáo Gráfica e Editora.

Muñoz, W. 8 Díaz, M. (2021). The risks of autonomous weapons: An intersectional
analysis. Seguridad Humana en Latinoamérica y el Caribe.
https://bit.ly/SehlacAWSBias

Organización para la Cooperación y el Desarrollo Económicos. (2019). Mejores
criterios para una mejor evaluación. Definiciones revisadas de los criterios de
evaluación y principios para su utilización.
https://www.oecd.org/development/evaluation/Criterios-evaluacion-ES.pdf

Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos.
(2012). Indicadores de derechos humanos. Guía para la medición y la
aplicación.
https: //www.ohchr.org/documents/publications/numan_rights_indicators_sp.pdf

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura.
(2021). Recomendación sobre la ética de la inteligencia artificial.
https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa

OXFAM International. (s.f.). Políticas de prevención y salvaguardia.
https://www.oxfam.org/es/que-hacemos/quienes-somos/politicas-de-prevencion-y-salvaguardia

Pérez Villoro, F. y Robles P. (11 de noviembre de 2020). Vigilancia biométrica: el
tortuoso camino de Coahuila al reconocimiento facial. Expansión Política.
https://politica.expansion.mx/estados/2020/11/11/vigilancia-biometrica-el-tortuoso-camino-de-
coahuila-al-reconocimiento-facial

Scheneider, V. (2020). Locked out by big data: How big data, algorithms and
machine learning may undermine housing justice. Columbia Human Rights
Law Review.
http://blogs.law.columbia.edu/hrir/files/2020/11/251_Schneider.paf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible:
crítica desde una perspectiva feminista latinoamericana

SDG Al LAB. (s. f.). Harnessing the potential of artificial intelligence for sustainable
development.
https://sdgailab.org/

The Future Society. (2020). Areas for future action in the responsible Al ecosystem.
https://gpai.ai/projects/responsible-ai/areas-for-future-action-in-responsible-ai.pdf

The Republic of Costa Rica, the Republic of Panama, the Republic of Peru, the
Republic of the Philippines, the Republic of Sierra Leone and the Eastern
Republic of Uruguay. (s. f.). [Documento de trabajo conjunto.]
https://documents.unoda.org/wp-content/uploads/2021/06/Costa-Rica-Panama-Peru-the-
Philippines-Sierra-Leone-and-Uruguay.pdf

UNESCO. (s. f.). Los Objetivos del Desarrollo Sostenible: qué son y cómo
alcanzarlos. Organización de las Naciones Unidas para la Educación, la
Ciencia y la Cultura.
https://www.un.org/sustainabledevelopment/es/development-agenda/

United Nations. (2020). “Powerful technologies must be guided by human values,
solidarity, intelligence”, deputy secretary-general tells event on advancing
global goals with Al.
https://www.un.org/press/en/2020/dsgsm1455.doc.htm

United Nations Sustainable Development Group. (2003). The human rights based
approach to development cooperation towards a common understanding
among UN agencies.
https://unsdg.un.org/resources/human-rights-based-approach-development-cooperation-
towards-common-understanding-among-un

Venema, A. E. (4 de noviembre de 2020). Deepfakes as a security issue: Why
gender matters. Women in International Security.
https://wiisglobal.org/deepfakes-as-a-security-issue-why-gender-matters/

Vinuesa, R., Azizpour, H., Leite, |. et al. (2020). The role of artificial intelligence in
achieving the Sustainable Development Goals. Nature communications,
11(1), 1-10, p. 233.
https://www.nature.com/articles/s41467-019-14108-y

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de
datos para una lA feminista y

latinoamericana Virginia Brussa

Universidad Nacional de Rosario
Argentina

Detrás de la pregunta “qué es una lA feminista” es interesante indagar
su impacto frente a las meta-narrativas promulgadas por personas escépticas
y utópicas que llevan décadas permeando los debates acerca de la tecno-
logía (Morozov, 2013), la democracia (Risse, 2021) y ahora de la lA (Katz,
2020).

Las desconexiones, desacoples, hegemonías que promueven las me-
ta-narrativas sobre lA obstaculizan propuestas alternativas desde las cuáles
visibilizar las oportunidades y riesgos a nivel regional. El presente está “ses-
gado” no cabe duda, por ello potenciar desde una agenda de lA feminista re-
gional un movimiento alternativo crítico que alerte sobre un “bias washing” en
el horizonte es clave.

Encarar la gobernanza de datos (públicos) urgida por la urgencia de la
algoritmización reviste para y por esta agenda una vital importancia para su-
marla a esa propuesta alternativa. Por otro lado, la ciencia de datos aporta su

cuota de discusión al calor de los planteos sobre la privacidad, la rendición de

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

cuentas, la transformación digital, el data sharing, la diplomacia de la CTI, la
cooperación digital y, por supuesto, la apertura. Una ciencia de datos que
cree modelos éticos e inclusivos por diseño, que impulse algoritmos públicos,
así como protocolos que respondan a las desigualdades en la recolección de
datos, es consecuente con las necesidades actuales.

En este texto, partimos de un breve recorrido sobre gobernanza de
datos de interés público y por las preocupaciones ligadas a la lA feminista
para sumar los aportes interrelacionados entre ciencia de datos, gobierno
abierto y participación. Dicha dimensión habilita dos posibles espacios de in-
cidencia para la agenda: los planes de acción de gobierno abierto y la inte-
gración de las infraestructuras digitales. Finalmente, con el propósito de abrir
conversacionesl?8l, comparto algunas ideas para explorar los espacios e in-

tegrar las agendas.

HACIA UNA lA SITUADA

La inteligencia artificial vene compitiendo con otros términos en el po-
dio de las “buzzwords”. A diferencia de otras como innovación, cambio o
transformación (y más aún en lo digital) puede no quedar simplemente en el
ámbito discursivo, sino afectar el plano de la materialización de toma de de-

cisiones públicas mediadas por algoritmos. (Levy et al., 2021)

[28] Conversaciones que son parte de entrevistas realizadas a Selene Yang (CR), Paola Ricaurte (MX), Verónica Xardez (ARG). María Paz
Hermosilla (CHI) y Marianna Martinez (ES)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

Haciendo una breve entrada a la biblioteca digital de Naciones Unidas
por órgano, ya encontramos desde la década de los ochenta mención a la IA
como automatización de procesos, pasando por el énfasis en el sistema es-
tadístico, luego por los temas de privacidad, desarme, hasta ética. El anclaje
proviene de documentos de la Asamblea General, el ECOSOC, Secretaría y
últimamente de los órganos de derechos humanosl??*1. Tal vez más reconoci-
dos sean los reportes y guías realizados bajo el PNUD y UNESCO sobre lA,
ética, educación. Por otra parte, la lA al interior de la comunidad internacional
ha recorrido el camino singular de los grandes datos, la ciencia de datos a
instancias de las distintas estrategias impulsadas por los dos últimos Secre-
tarios Generales, uno para dar cuenta de la importancia para el sector huma-
nitario, el último a raíz del otro pilar: el desarrollo. Si bien la lA ha estado
presente en las decisiones y reportes de los principales órganos, el mayor
impulso lo obtiene de los organismos y organizaciones creadas en la fase de
recolección de datos, tecnologías para su obtención y análisis y finalmente su
gobernanza global. De allí que surja también la Oficina del Enviado para la
Tecnologíal*% dependiente de la SG la cual debe coordinar la Hoja de Ruta

de la Cooperación Digital.

[29] Los órganos de derechos humanos de la estructura supranacional son la Oficina del Alto Comisionado para los Derechos Humanos ,
los Órganos creados en virtud de Tratados (Comité de Derechos Humanos-Comité de Derechos Económicos, Sociales y Culturales-
Comité para la Eliminación de la Discriminación Racial - Comité para la Eliminación de la Discriminación contra la Mujer-Comité contra
la Tortura -Comité de los Derechos del Niño- Comité de Protección de los Derechos de Todos los Trabajadores Migratorios y de sus
Familiares - Comité sobre los Derechos de las Personas con Discapacidad-Comité contra la Desaparición Forzada - Instrumento de
derechos humanos , los órganos de Derechos Humanos basados en la Carta de las Naciones Unidas, Consejo de Derechos Humanos
y Comisión de Derechos Humanos. De esta lista tan extenso, sólo algunos trabajan el tema lA en particular.

[30] Ver https://www.un.org/techenvoy/es

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

La hoja de ruta contiene como una de sus acciones apoyar la coope-
ración mundial en materia de inteligencia artificial, mencionando también el
impacto de la tecnología en cuestiones ambientales y riesgos de ciberseguri-
dad. Puede resultar interesante también aludir a los puntos 24 y 25 del docu-

mento donde se describe los siguiente:

Están surgiendo varias plataformas de bienes públicos digi-
tales de ese tipo, entre las que cabe destacar la Alianza de Bienes
Públicos Digitales, iniciativa de múltiples interesados que responde
directamente a la falta de una plataforma de referencia, aspecto
destacado por el Panel en su informe. La labor de la Alianza se
complementa con otras iniciativas, como el Marco Mundial de
Acceso a Datos, cuyo objetivo es desarrollar infraestructuras técni-
cas que permitan y amplíen el intercambio de datos en todas las
modalidades para acelerar los procesos de creación de bienes pú-
blicos digitales de calidad. Esas iniciativas son decisivas para el
desarrollo de normas comunes sobre datos abiertos que orienten a
los sectores público y privado sobre cómo proporcionar acceso
abierto a los conjuntos de datos, a fin de garantizar que más datos
pasen a ser bienes públicos digitales, respetando al mismo tiempo
la privacidad y la confidencialidad. Un aspecto decisivo para la im-
plantación de bienes públicos digitales es contar con marcos de
derechos humanos y gobernanza rigurosos que fomenten la
confianza en la tecnología y el uso de los datos, garantizando asi-
mismo la inclusión. (NNUU, 2020; p.8)

Y luego podemos citar respecto a la lA el punto 55:

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

82

83

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

A pesar de que el interés por la inteligencia artificial es
abrumador (la recomendación del Panel generó cientos de res-
puestas), existe un déficit de coordinación, colaboración y gober-
nanza internacional. Las cuestiones relacionadas con la
inteligencia artificial que el Panel ha destacado constituyen impor-
tantes esferas de colaboración, en particular, su recomendación
de que “Las decisiones de vida o muerte no deben delegarse a las
máquinas”, que concuerda con el llamamiento del Secretario Ge-
neral a la prohibición mundial de los sistemas de armas autóno-
mos letales. Los estados miembros se han ocupado de este
asunto en el contexto de su participación en la Convención sobre
Prohibiciones o Restricciones del Empleo de Ciertas Armas Con-
vencionales que Puedan Considerarse Excesivamente Nocivas O

de Efectos Indiscriminados. (pp.14-15)

Finalmente, y como elementos para complementar los desafíos

planteados por otros informes o trabajos realizados por OCDE, CE-
PALI21, OEA, SEGIBI, UEB51 y organizaciones como ILDAÉl, BIDIS o

Derechos Digitalesi38l entre otros, hay tres retos que el texto de Naciones

131

[32]
[83]

[34

[85]

136
[37

[88]

Ver https://www.oecd.org/sti/ieconomy/enhanced-data-access.htm y https: //www.oecd.org/digital/artificial-intelligence/

Ver https://www.cepal.org/es/notas/cumbre-inteligencia-artificial-america-latina

Ver https: //www.youtube.com/watch?v=zbHfEFYswSO

Ver https://www.segib.org/wp-content/uploads/Declaracion-IV-RMCTI_ES.paf

Ver entre otros textos
https://www.eipa.eu/publications/briefing/the-artificial-intelligence-act-proposal-and-its-implications-for-member-states/
Ver Proyecto Empatía https://www.empatia.la/

Ver https://publications.iadb.org/es/uso-responsable-de-ia-para-politica-publica-manual-de-formulacion-de-proyectos
Ver Informe

https://ia.derechosdigitales.org/wp-content/uploads/2021/03/CPC_informeComparado.paf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

Unidas precisa: 1) la falta de inclusión y representación en los debates glo-
bales; 2) la necesidad de una plataforma global que coordine esas iniciati-
vas, ante la existencia de más de 160 series institucionales de ética y
gobernanza de lA; y por último, 3) la falta de capacidad y conocimiento del
sector público en la temática.

Esta mínima referencia de contexto a título instrumental, que no revis-
te análisis valorativo de su legitimidad o representatividad a los fines regio-
nales, da cuenta de varias cuestiones que vamos a desarrollar luego. Pero
no sin antes señalar que, como palabra de moda, la lA puede parecer abs-
tracta y compleja pero, materialmente, de un momento a otro los mecanis-
mos normativos necesitarán contar con una masa crítica para su localización
a nivel nacional, subnacional y local. Y en ese proceso la agenda feminista
de lA, los aspectos ambientales, discusiones amplias para los marcos de go-

bernanza y las alfabetizaciones digitales son y serán un recurso importante.

De gobernanza y ciencia de datos: aportes para otros planes e
infraestructuras

El giro desde gobierno a gobernanza, como bien Innerarity (2011) lo
mencionara como concepto y praxis para la renovación de la política, se ins-
tala también para los datos y seguidamente para la inteligencia artificial. De

interés entonces será la gobernanza de datos públicosiB9 y sus marcos

[89] Otras discusiones son útiles en el marco de mecanismos de cooperación y colaboración constituidos como los programas de
colaboración para el intercambio de datos, los bazares de datos y las cooperativas de datos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

afines. Si bien desde la usina de recomendaciones de la OCDE encontrare-
mos muchas concepciones sobre gobernanza pública (2019) en el contexto
de la transformación y economía digital, o desde la Alianza Global de
Gobierno Abierto, vamos a hacer mención a algunas ideas compartidas
desde Mozilla y otras organizaciones regionales de forma tal de contar con
elementos afines para desandar la gobernanza de la lA situada.

Cabe mencionar que este texto no tiene por objetivo dar cuenta del
estado del arte de la gobernanza de datos o lA en América Latina, pero sí
partir de conceptos orientadores abrir el debate sobre dos instancias futuras
de investigación acción de la lA feminista en estos territorios: la gobernanza
de |A en el contexto de los Planes de Acción de gobierno abierto (local) y las
infraestructuras digitales de participación. En ambos, la ciencia de datos co-
mo herramienta tiene algo que decir y más aún cuando todavía hay deficien-
cias en políticas sobre dicha gobernanza de datos.!*0

Anouk Ruhaak (2021) hace un replanteamiento muy útil a la hora de
pensar qué nos estamos perdiendo entre toda la montaña de normativas so-
bre gobernanza dada la agencia colectiva de los datos. Retoma por tanto los
niveles de participación propuestos por Arnstein (1969) para poner de mani-
fiesto que actualmente nos encontramos en una zona media de tokenización.
Es decir, con suerte se informa sobre el uso de tus datos. Eso nos plantea

dos niveles de interrogantes: ¿Qué impacto tienen todas esas normativas?

[40] En ese sentido, en la región podrá ser sensible monitorear las implementaciones de las normativas sobre gobernanza de datos, su
actualización y sus brechas para dar mayor anclaje a las tecnologías, capacidades y necesidades implicadas en la lA que tengan
impacto en el sector público.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

¿Cómo se implementan? ¿Qué se está olvidando incluir al calor de la “ur-
gencia” legislativa? Y tal como plantea Ruhaak, ¿qué grado de participación
es necesaria para una gobernanza futura que nos incluya, una que además
sea ética e inclusiva?

Siguiendo ese camino abierto, Fabrizio Scrollini desde ILDA (2022)
repara en los procesos de recolección de datos estadísticos y cómo incluir
otras fuentes a los procesos ya institucionalizados de los centros nacionales
de estadísticas. Ese es un punto clave, ya que nos da el marco para poner
en diálogo a la ciencia de datos!*1l como herramienta para facilitar informa-
ción para la toma de decisiones basadas en los conjuntos de datos públicos
disponibles. En consecuencia, los procesos de recolección, los modelos, las
alianzas entre las personas productoras de datos y las personas científicas
de datos conformarán uno de los eslabones en esta búsqueda de una go-
bernanza inclusiva de datos e lA. Identificando y visibilizando brechas en los
datos existentes, las preguntas para mejorar la evidencia en políticas públi-
cas podrán ser parte de la cadena de incidencia necesaria para pensar las
políticas sobre gobernanza de la lA feminista.

En la práctica, al ir priorizando problemasl*2l con base en los sistemas
de datos disponibles, las alertas sobre la falta de datos o problemas de ma-

duración de los mismos son detectados en momentos iniciales. Proyectos de

Tener en consideración los conceptos sobre ciencia de datos e inteligencia artificial. Por ejemplo, siguiendo el Glosario confeccionado
por el GobLab UAI. Ver
https://goblab.uai.cl/wp-content/uploads/2020/04/Glosario-de-conceptos-Ciencia-de-Datos.pdf

[41

[42

También podrá ser de interés para la agenda feminista de lA revisar guías o recomendaciones surgidas en la región sobre diseños
responsables de proyectos de ciencia de datos para aportar desde la agenda feminista principios que sumen a ese diseño responsable.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

ciencia de datos e lA como corolario de políticas públicas con perspectiva fe-
minista serán por ende menores, no por desigualdades en la conformación
de equipos o sus capacidades, sino por la invisibilización estructural de
temáticas de interés en los programas de apertura de datos. Entre las entre-
vistadas se destaca la relevancia de revisar los procesos intrínsecos a los
modelos de recolección actuales para gestar un ecosistema maduro y estan-
darizado de datos. El tema va más allá de contar con datos desagregados,
ya que en ocasiones incluso esos datos no habilitan siquiera a problematizar
por ejemplo una agenda feminista para el cambio climático. Tampoco es
cuestión de contar con grandes datos: pequeños datos pertinentes y oportu-
nos acompañados de una buena pregunta y la adecuada técnica pueden ser

el impulso inicial para acciones que fomenten la justicia de datos.

¿Qué gobernanza habilita el gobierno abierto?

El explorador de compromisos derivados de los Planes de Acción de
los países (y ciudades) pertenecientes a la Alianza para el Gobierno Abierto
permite analizar ocho años (2011-2018) de información. Si observamos los
términos asociados a cada plan, surgen algunos cruces interesantes para
profundizar con las tendencias actuales.

Una de las etiquetas utilizadas para describir las temáticas trabajadas
por los compromisos es “género”. Agrupando los países y ciudades que con-
tienen a dicho término se percibe el escaso peso del tema en general: 2.10%
del total de los compromisos. Sin embargo, para nuestra agenda es suma-
mente relevante ya que el 50% de esos compromisos pertenecen a América

Latina. La región le ofrece su impronta a la temática, por peso y por connota-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

ción de los tópicos con los cuales “género” se relaciona.

Los datos totales y globales (Tabla 1) visibilizan los temas con los
cuales los compromisos sobre género se han relacionado a lo largo de los
últimos años. Se afirma la situación de vulnerabilidad y las desigualdades en
temas de participación, datos abiertos, servicios públicos, políticas digitales.
Por otro lado, cuestiones de justicia, ambientales, DDHH o educación pare-
cen no ser identificadas como importantes en la agenda de género de go-
bierno abierto.

Tabla 1

Co-ocurrencias etiqueta Género - Compromisos OGP

80
60
40
20
[0]
EEN E EE
SN ERE
£23825305 8522528203852 8£3850893823807%
3533323 25 == Sus uo £ 2-3 5 2
233553 v>353d4dscr230235E£2E02035 Ss29338
0 D Di = SoDo>
5Scocen DO Oz ..o o o SE Egos%5,.2 DOÓ5 5350
>0058g8 832323>382 2% 3>EES3S 2E2353U8
2 E S0
56 43 3 c526$p 5] Les eses 28 5
Se ¿Oo S3%r 3 E 02 SE gg 3
2 5 20 x ¿2 .. > 28 la]
a 179) E] o ono O
3 = o <= o oo 5
2 o 15) [2] S pp R=]
E ce ro 3 S S
o E 2 oO
[aa]

Fuente: OGP Explorer https://www.opengovpartnership.org/explorer/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

88

89

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

La tríada vulnerabilidad, participación y “transformación digital” ligada
a temáticas sobre género avala la pertinencia de incidir desde el ecosistema
de la AGA por una agenda de lA inclusiva y feminista por varias razones:

1. Los planes subsiguientes al 2018 dan cuenta de un aumento de los
países que incorporan compromisos relacionados a las problemáticas
de “género” (algunos explicitando proyectos para mujeres y niñas) pas-
ando de ochenta y uno (81) según los datos aquí analizados a ciento
cuarenta y cuatro (144) (Gender OGP, 2021). También su desempeño
es realmente destacable en relación con su impacto en las políticas de
gobierno abierto y su temprana concreción frente a los compromisos
que incluyen a otras poblaciones vulnerables identificadas por AGA.

2. Otra de las publicaciones de avances de las políticas de gobierno
abierto es el de Gobernanza digital. (DG OGP, 2021) Ha sido la se-
gunda área de política de más rápido crecimiento dado el uso de al-
goritmos e lA por los gobiernos de la alianza según dicho
relevamiento. Protección de derechos y rendición de cuentas son las
acciones inherentes a los marcos de gobernanza propuestos pero
ciertamente padecen cierta debilidad en su implementación.

3. Aunar en el esquema de acciones por la coordinación democrática
de los datos (ILDA, 2022) la resignificación de los portales. Según
Davis, sería pensar en futuros portales de datos como data hubs de
gobernanza (2021) de forma de orientar marcos temáticosi%ól y
aprovechar las infraestructuras existentes para incluir secciones de
algoritmos públicos como políticas de transparencia activa.

[43] Ver Charla “El futuro de la gobernanza de datos en América Latina” organizada por ILDA donde se hace mención a las posibilidades de
trabajar los marcos de gobernanza de forma sectorial https://www.youtube.com/watch?v=x-HIV15urow

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

Algo más que infraestructuras digitales de participación

De manera breve quiero hacer mención a otra dimensión sensible
para la agenda en cuestión. Presenta interrelación entre gobernanza de
datos, futuros de gobierno abierto, ciencia de datos e lA en distintas veloci-
dades e instancias.

A los portales de gobierno en su formato tradicional se han sumado
otras infraestructuras digitales para dar vida a proyectos de legislación
abierta, monitoreo de planes, presupuestos participativos, consultas entre
otros mecanismos!“ públicos de similares objetivos. Su uso, sin hacer
distinción de las modalidades adoptadas, es un repositorio de huellas digi-
tales. Ni esos datos ni sus infraestructuras son integrados en la mayoría de
los casos en los marcos de gobernanza anteriormente referidos.

En una publicación reciente del The GovLab (Gambrell, 2022) donde
se analiza el proceso realizado por Madrid se deja constancia de la necesi-
dad de incluir a futuro estas instancias como parte de las políticas de uso,
reuso e intercambio de datos provenientes, en este caso, de la ciudadanía.

Proyectos de ciencias de datos y uso de algoritmos también son
parte de ese ecosistema europeo que tiene repercusión por su escalabili-
dad en América Latina. Son, claro está, otra naturaleza de datos y de acto-
res involucrados en la recolección, tales como aquellas organizaciones de
sociedad civil o comunidades de desarrolladores que podrán ser también lla-

mados a formar parte de eventuales debates sobre gobernanza de datos e IA

[44] Participedia (https://participedia.net) hace un relevamiento de proyectos participativos donde poder analizar el uso de distintas
herramientas y procesos digitales.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

regionales, más aún si consideramos la toma de decisiones surgidas de esos
datos, los modelos y temáticas de políticas públicas diseñadas especialmente

sobre distribución presupuestaria, espacio público, ambiente, movilidad.

Conclusiones

El incipiente escenario de marcos de gobernanza de datos a nivel
regional, en su nivel normativo, diversidad temática y de cooperación entre
actores, se presenta como factor de riesgo en momentos performáticos in-
teligentes pero al mismo tiempo como oportunidad para promover valores
intrínsecos a la agenda de datos feminista en general y de lA en particular.

Y si “los futuros son representaciones del porvenir que compiten ac-
tualizándose en el presente para completarse tanto material como cultural-
mente. Cada uno de ellos lleva implícitas concepciones más o menos
específicas de lo que significa ser humano, naturaleza, desarrollo, justicia,
riqueza y vida”. (Belsunces, 2020) Entonces allí reside la oportunidad de
forjar una narrativa alternativa a las promulgadas desde escépticos y utópi-
cos: una narrativa común a la agenda feminista de lA desde donde accionar
por diseños más justos.

En ese estado de situación y controversias narrativas sobre qué es lA
también se encuentra la búsqueda de un consenso sobre qué y para quiénes
diseñar marcos de gobernanza de (nuestros) datos. ¿Por qué necesitamos
tales políticas? ¿Qué personas están convocadas a ser parte de su diseño?
¿Qué tipo de cooperación debe implementar? ¿Cómo se torna esa búsqueda

necesaria en la lA feminista?

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

En ese contexto, las hojas de rutas globales son un indicador de la ne-
cesidad de instrumentar marcos coherentes con el avance tecnológico,
normativo y científico propio. Los distintos países de la región cuentan con
movimientos de apertura y de datos de larga trayectoria, de derechos digi-
tales y derechos humanos, colectivas feministas o software libre sensibles a
las problemáticas ambientales, de sesgos y desigualdad. No sería conse-
cuente con todo ello construir hojas de rutas locales desde cero o escasas
de participación. En ese sentido, señalé a modo de ejemplo dos casos des-
de donde potenciar la incidencia en el diseño de marcos de gobernanza en
el sentido de la agenda: los planes de acción de gobierno abierto y los me-
canismos de participación basados en infraestructuras digitales. Horizonta-
lizar la agenda de lA implica también revitalizar esas políticas de apertura
para problematizar junto a nuevos actores (cientistas de datos, privados,
organismos internacionales, oficinas de estadísticas nacionales, data acti-
vismo feminista, migrantes, ambientalistas, etc) la gobernanza. En ese mis-
mo recorrido la agenda feminista de lA y los perfiles necesarios de
cientistas de datos entran en juego para alertar oportunamente falencias y
falta de datos estructurales que dificultarán el hacer las preguntas que que-
remos con base en mejores datos y evidencia para la toma de decisiones

públicas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

RECOMENDACIONES

Finalmente, algunas propuestas para seguir conversando por una

agenda de investigación-acción de lA feminista.

o Sensibilizar [General]: La IA no debería considerarse un objeto pro-
piedad de discusión de algunas áreas, actores o disciplinas. Más aún
considerando su uso para la toma de decisiones públicas. Su gobernan-
za por tanto remite a corresponsabilidad, participación y cooperación. Sin
embargo, existen varias capas de debates previos o al menos simultá-
neos para no implementar normativas anacrónicas que potencien los
sesgos estructurales. Ejemplos: a) promover consensos abiertos locales
acerca de qué, cómo y para quiénes se diseñan marcos de gobernanza
de lA. En consecuencia, visibilizar por qué es importante contar con pro-
yectos de algoritmos públicos para explicar su uso en mecanismos de
toma de decisiones y rendición de cuentas. B) Desnaturalizar el origen de
la escasez y madurez de datos en proyectos de ciencia de datos afines a
la agenda feminista y el ciclo del sesgo como mero resultado de lo “dado”
por procesos de lA. Integrar los resultados de dichos debates en los pro-

cesos de legislación sobre gobernanza.

o Localizar [Gobiernos/ONG]: potenciar el rol de las ciudades como es-
pacios pertinentes para el desarrollo de políticas de gobernanza de lA
aprovechando el ecosistema provisto por OGP Local (el capítulo de ciu-
dades de la Alianza para el Gobierno Abierto). La presión que da cuenta

Davis sobre la revitalización de los portales de datos puede incentivar el

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

intercambio de experiencias entre ciudades en similares velocidades de
normativización de la gobernanza de datos. Modelo piloto para pensar en

la “sectorización” pero por nivel territorial y no por tipo de alianzas o temas.

Open Gov Partnership 4)
GCopengovpart
Women local leaders are incorporating +opengov and

feminist approaches to tackle the challenges of the
pandemic and strengthen democracy.

They shared their stories with us at the HOGPSummit
last December youtu.be/AvFMxiAwt_s

HinternationalWomensDay +HIWD2022 H+BreakTheBias

Traducir Tweet

z PAMDAMIC PusMso us Te ¡urea
a PAR

ARTICIPATICA Ye DATA CAUICIOs

SA
LOCAL LEADERS ROUNDTABLE

Fuente: https://twitter.com/opengovpart/status/150121643475571098

o DataActivar los proyectos de ciencia (de datos) [Academia/Privados]:
posibilidad de incluir en los equipos de ciencia de datos sobre políticas
públicas referentes del data activismo que sumen e interpelen lo ético
desde el territorio/cotidianeidad. Los roles y equipos de especialistas en
distintos temas convocados en dichos procesos pueden ser interpelados
por preguntas provenientes de otras miradas, riesgos y saberes. De esta

forma, se integrarían desde la primera fase de la problematización una

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 94

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

perspectiva feminista sobre el tema, se identifican posibles faltantes de
información o datos, se previenen sesgos en distintas etapas del proyec-
to y de la comunicación.

En ese mismo sentido, las organizaciones o comunidades que diseñan
infraestructuras digitales habitualmente desarrollan becas para desarro-
lladoras con el objetivo de cerrar las brechas en Ciencias, Tecnología,
Ingeniería y Matemáticas. Sin embargo, sería interesante incidir para el
diseño de incentivos donde mujeres de otras disciplinas como politólo-
gas, sociólogas, antropólogas, humanistas interesadas en código se su-
men y al mismo tiempo aporten sus miradas sobre aspectos no técnicos

de las infraestructuras.

o Protocolo de alertas tempranas del sesgo [agenda de investiga-
ción IA feminista] Cocrear un protocolo que facilite la detección de po-
tenciales sesgos al momento de diseñar un proyecto de ciencia de datos.
Guiar desde lo más simple como ser [IF me encuentro con un data-
set/base de datos sin desagregación entonces derivo a X área] o la crea-
ción de un documento público, colaborativo y regional donde se
recolecten brechas de datos al poner en ejecución un proyecto de lA. El

mismo alimentaría el protocolo.

o Repositorio de preguntas para una lA feminista: [agenda de inves-
tigación IA feminista] Teniendo en cuenta los pasos propuestos por el
curso sobre cómo hacer un proyecto de ciencia de datos del GobLabUAl

de Chile, abrir un repositorio en Github/sitio web para recolectar las pre-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

guntas de investigación con perspectiva feminista que quedan sin resol-
ver dada la ausencia de base de datos que aporten evidencia. Seguir
criterios de categorización tales como país, área de política pública, con-
junto de datos necesario, nivel de maduración del dato, fuentes alternati-
vas no oficiales entre otros. Visualizar los gaps por país y por conjunto de

datos.

o Biblioteca abierta sobre gobernanza de datos e lA feminista en Zo-
tero: al ir explorando informaciones sobre el tema puede que te sea útil.

Crear un grupo abierto: GDelAfeminista

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

96

97

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

REFERENCIAS

Arnstein, S. R. (1969). A ladder of citizen participation. Journal of the American
Institute of Planners, 35(4), 216-224.

https://lab.cccb.org/es/graficos-expectativas-y-la-invencion-del-futuro/

Davies, T. (15 de diciembre de 2021). Focussed futures: the portal as... [Blog post.]
Data Portals and Citizen Engagement.
https://dataportals.pubpub.org/pub/vftgd2z6/release/1

Iniciativa Latinoamericana por los Datos Abiertos. (31 de marzo de 2022.) El futuro
de la gobernanza de datos en América Latina. [Video.] Youtube.
https://www.youtube.com/watch?v=x-HIV15urow

Innerarity, D. (2011). ¿Qué es eso de la gobernanza? Tiempo de paz, 100, 228-233.
https://dialnet.unirioja.es/servlet/articulo?codigo=3986435

Katz, Y. (2020). Artificial whiteness. Columbia University Press.

Levy, K., Chasalow, K. E., € Riley, S. (2021). Algorithms and Decision-Making in the
Public Sector. Annual Review of Law and Social Science, 17, 309-334.
https://www.annualreviews.org/doi/abs/10.1146/annurev-lawsocsci-041221-023808

Morozov, E. (2013). To save everything, click here: The folly of technological
solutionism. Public Affairs.

Naciones Unidas, Asamblea General. (2020). Hoja de ruta para la cooperación
digital: aplicación de las recomendaciones del Panel de Alto Nivel sobre la
cooperación digital.
https: //documents-dds-ny.un.org/doc/UNDOC/GEN/N20/102/54/PDF/N2010254 pdf

Organización para la Cooperación y el Desarrollo Económicos. (2021).
Recommendation of the council on enhancing access to and sharing of data,
OECD/LEGAL/0463.

https://www.oecd.org/sti/lieconomy/enhanced-data-access.htm

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

En agenda:
aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana

Open Government Partnership. (2021). Gender € inclusion fact sheet.
https://www.opengovpartnership.org/wp-content/uploads/2021/11/Gender-_-Inclusion-fact-
sheet.pdf

Open Government Partnership. (2021). Digital governance fact sheet.
https: //www.opengovpartnership.org/wp-content/uploads/2021/11/Digital-Governance-Fact-
Sheet.pdf

Risse, M. (2021). Artificial intelligence and the past, present and future democracy.
Carr Center for Human Rights Policy.

https://carrcenter.hks.harvard.edu/files/cchr/files/ai-and-democracy

Ruhaak, A. (29 de octubre de 2021). Desafíos para la ética aplicada a la
gobernanza de datos | Eduardo Meneses € Mozilla Foundation. [Video]
Youtube.

https://www.youtube.com/watch?v=97pvjLom9DE

Scrollini, F. (24 de enero de 2022) Datos que empoderan: Perspectivas de ALC
sobre la gobernanza de datos. [Video]. Youtube.
https://www.youtube.com/watch?v=TNyVU8nZGHA

Gamobrell, D. (28 de marzo de 2022). Learning from Decide Madrid. [Blog post.] The
Gov Lab.
https://blog.thegovlab.org/post/learning-from-decide-madrid

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas
madres”:

una perspectiva feminista sobre la
datificación en la política social desde

Familias en Acción
Laura Castro

Fundación Karisma
Colombia

Joan López

Tilburg Institute for Law, Technology and Society (TILT)
Tilburg University
Países Bajos

El programa de transferencias condicionadas Familias en Acción entrega
beneficios monetarios a más de 2 millones de familias y es uno de los pro-
gramas más consolidados en la política social en Colombia (Departamento
de Prosperidad Social, 2021). A pesar de ser catalogado como un éxito en
términos de reducción de la pobreza (Llano, 2014), este programa es una
muestra de cómo la administración de programas sociales afecta la
autonomía y dignidad de las mujeres a través de una compleja red de
vigilancia institucional y estereotipos que imponen cargas sobre sus vidas.
En este documento partimos de un lente que nos permita visibilizar cómo
Familias en Acción y sus procesos de clasificación afectan específicamente

la experiencia de las mujeres-madres beneficiarias.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

El texto tiene como objetivo señalar algunas preocupaciones sobre
el impacto de los sistemas de datos y la vigilancia sobre las mujeres desde
un enfoque que se aleja de los resultados económicos del programa. El
trabajo se enmarca dentro de una investigación realizada por la Fundación
Karisma para analizar el uso de datos en la política social desde una pers-
pectiva de derechos humanosl*I,

Para esto, es necesario entender que la pobreza no afecta de ma-
nera equitativa a las personas. De hecho, son las mujeres quienes engro-
san las cifras de la pobreza y la pobreza extrema en Colombia y en el
mundo. (ONU Mujeres, 2018) A pesar de que los índices de pobreza en el
país mejoraron en el período de 2007 a 2018, la pobreza de las mujeres
aumentó. (ONU Mujeres, 2018a) Este escenario justifica la necesidad de
utilizar un enfoque de género que pueda aportar a la comprensión de los
impactos diferenciados de los sistemas de datos en la protección social
sobre las mujeres.

Primero, vamos a describir el contexto de la focalización de los pro-
gramas sociales y las Transferencias Monetarias Condicionadas en Amé-
rica Latina. Después vamos a analizar cómo funciona la vigilancia en Fami-
lilas en Acción y sus impactos sobre la autonomía y la dignidad de las
mujeres. Finalmente, llegamos a unas conclusiones y recomendaciones pa-

ra la implementación de sistemas de datos en este tipo de asistencia social.

[45] Este artículo es una versión resumida de una investigación de la Fundación Karisma titulada Vigilando a las "buenas madres": Aportes
desde una perspectiva feminista para la investigación sobre la datificación y la vigilancia en la política social desde Familias En Acción
publicada en 2021.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 00

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Contexto

Desde los 90, América Latina se enfrentó a una nueva era mar-
cada por la liberalización de la economía y la privatización de los servi-
cios públicos. En este contexto, las políticas de atención a la pobreza se
centraron en la focalización del gasto social. (Castañeda, 2005; López,
2020; Rodríguez, 2011, 2011a) La focalización es una alternativa que
busca la eficiencia de los recursos disponibles por medio de la asigna-
ción de grupos focales predefinidos. (Rodríguez, 2011) La selectividad
resultaba necesaria debido a las restricciones presupuestarias. De esta
manera, las personas en pobreza y pobreza extrema se convirtieron en
la población-objetivo en el país.

En 1994, Colombia creó el Sistema de Potenciales Beneficiarios
de Programas Sociales (Sisbén) que clasifica a las personas en térmi-
nos de pobreza y es utilizado para asignar más de 19 programas socia-
les. Para esto, se recogen datos por medio de encuestas masivas y, de
acuerdo a las reglas definidas por el Gobierno, se genera una clasifica-
ción para el grupo familiar. (López, 2020) En esta calificación operan
procesos de representación que determinan cómo el Estado encara la
pobreza. La representación institucional de la pobreza obedece a su-
puestos y elecciones que no son neutrales y que ilustran un discurso
estatal determinado.

Uno de los programas sociales que utiliza el Sisbén es Familias
en Acción (en adelante FA) que inició en el año 2000 y se inscribe den-
tro de lo que se conoce como una Transferencia Monetaria Condiciona-

da (en adelante TMC). Las TMC buscan subsidiar a las personas que no

Inteligencia Artificial Feminista
1 0 1 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

pueden acceder a los precios del mercado por bienes y servicios a cam-
bio de cumplir con unas condiciones determinadas por el Estado.
(Rodríguez, 2011) Las condicionalidades son la columna vertebral en este
tipo de asistencia social y, en el caso de FA, estructuran la dimensión moral
subyacente a la mirada institucional sobre el rol de las mujeres en la supe-
ración de la pobreza.

FA se diseñó en respuesta a la crisis de los 90 para promover la for-
mación de capital humano en las familias en extrema pobreza, a través de
subsidios condicionados a la asistencia escolar y al cuidado de la salud y la
nutrición de los Niños, Niñas o Adolecentes (en adelante NNA) menores de
18 años del hogar. (Consejo Nacional de Política Económica y Social, 2000;
2005; 2007) El programa está focalizado en grupos en pobreza y pobreza
extrema, víctimas de la violencia y grupos indígenas. En 2012, con la Ley
1532, el programa se convirtió en la principal estrategia de superación de la
pobreza como una política de Estado. Con esto, se delegó la coordinación y
dirección del programa al Departamento de Prosperidad Social (en adelante
DPS) dependiente de la Presidencia. Actualmente, 2.203.038 familias

hacen parte del programa y reciben 175.000 pesos colombianos (44 USD).
El programa tiene dos componentes. Primero, los incentivos mone-
tarios a cambio de que los menores de 6 años tengan controles médicos o
que los NNA entre 6 y 18 años asistan al 80% de las clases. Segundo, el
bienestar comunitario que incluye la participación en asambleas, la

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 02

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

selección de madres líderes!*8l y encuentros pedagógicos. Las titulares
pueden ser excluidas si no cumplen las metas del programa, hay inconsis-
tencias en su información o mejoran su condición económica de acuerdo al
Sisbén. (Ley 1532 de 2012, Art. 14; Departamento de Prosperidad Social,
2019, p. 29)

Asistencia social y vigilancia

La asistencia social es uno de los escenarios privilegiados para
cuestionar la vigilancia por parte del Estado. En este entramado institucio-
nal existe una lógica en la que se percibe como necesario analizar a las
personas pobres. (Eubanks, 2006; Hughes, 2019; Monahan, 2017) Desde
el Estado se argumenta la necesidad de recolectar información personal
para entregar servicios sociales, sin embargo, los estudios sobre vigilancia
han señalado que esta práctica también tiene un deseo de control social.
(Hughes, 2019, p. 343) La preocupación por la privacidad de los sujetos en
contextos de desigualdad debe preguntarse cómo se moldean los compor-
tamientos sociales en función de un perfil institucional determinado. En este
sentido, vale la pena explorar de qué manera las dinámicas de FA funcio-
nan como mecanismos de control social sobre las mujeres en condición de

pobreza y cómo podrían afectar su autonomía y dignidad.

[46] Las madres líderes son electas por dos años y son las intermediarias entre las titulares y las autoridades del programa.

Inteligencia Artificial Feminista
1 03 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Sobreexposición a la vigilancia

La focalización de programas sociales incluye la recolección y análi-
sis de datos personales para determinar el "merecimiento” individual. En
programas como FA, las mujeres han sido víctimas de una vigilancia que li-
mita su autonomía y las enmarca en estereotipos que producen los gobier-
nos. En esta sección vamos a explorar cómo se vigila a las mujeres en el

programa Familias en Acción.

Verificación a través del Sisbén

En 2016, el Gobierno comenzó a recolectar nuevos datos para “pre-
decir la capacidad de generar ingresos" de las personas. Además, introdujo
la verificación automática de la información que las personas reportan con
34 bases de datos públicas y privadas. (López, 2020) Cuando hay una in-
consistencia, se marca a la persona “en verificación” y puede ser excluida
de programas sociales. Igualmente, el Gobierno tiene control regulatorio
sobre las incongruencias que pueden generar una marcación. (Departa-

mento Nacional de Planeación DNP, 2017)
El Sisbén hace visible la feminización de la pobrezal*”] y cómo la ve-
rificación recae principalmente sobre ellas. Las mujeres son la mayoría de

las personas en el Sisbén (Departamento Nacional de Planeación DNP,

[47] Este concepto surge en la década del 70 en Estados Unidos para dar cuenta del aumento creciente de la pobreza en mujeres solas y
en hogares a cargo de mujeres. Pese a que no existe una definición unívoca del término, este logra poner en discusión varios
aspectos: 1) un predominio de mujeres entre la población empobrecida; (2) el impacto no fortuito de las causas de la pobreza entre
varones y mujeres y 3) un aumento unidireccional de la pobreza entre las mujeres (Aguilar, 2011).

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 04

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

2020), así como son mayoría en los grupos de pobreza y pobreza extrema.
(Figura 1) Sin embargo, estas cifras son representativas para antes de la
pandemia de COVID 19 y las mujeres han sido más afectadas por esta cri-
sis (Departamento Administrativo Nacional de Estadística y Departamento
de Economía de la Universidad Javeriana, 2021). Por eso, para 2020 en
adelante se espera que las mujeres aumenten en los grupos más empo-
brecidos.

Figura 1
Total de personas en condición de pobreza según Sisbén desagre-

gado por género

12

0 | | | | | | | | |

2011 2012 2013 2014 2015 2016 2017 2018 2019

Millones

mn La]

15

ra

a Hombres y Mujeres

Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020)

Inteligencia Artificial Feminista
1 05 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

En los pilotos de verificación de 2014, se evidenció que las causales
de la vivienda están igualadas en género, pero las causales de ingresos
generan diferencias de género claras. (Figura 2) En la causal “aporte a se-
guridad social”, el DNP marca a las personas que pasan del sector informal
o el desempleo hacia la formalidad. Esta causal afecta más a los hombres
que a las mujeres, mientras que la causal “cónyuge/hijo de persona repor-
tada” las afecta más a ellas. Por esto, la verificación de los datos del nuevo
Sisbén de datos personales como salud, educación, gasto e ingresos

podrían reproducir las inequidades.

Figura 2
Total personas marcadas “en verificación” desde 2014 hasta 2020
por género
cónyuge/nio de personarepcriada MO cs
Aporte a seguridad social e a
Cambio de edad A
Cambio de zona de vivenda ”
Cambio de tipo de vivienda MS
Cambio alcantarillado pa
Cambio acueducto [P]
0 50000 100000 150000 200000 250000

A Hombres NM Mujeres

Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 06

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Verificación de las condicionalidades de FA

La verificación del Sisbén solo es la puerta de entrada, pero FA tiene
procesos de verificación que pueden generar también su exclusión del pro-
grama. La vigilancia de FA ocurre en diferentes espacios y depende de
medios tanto tecnológicos como redes de personas que reportan datos al
sistema.

Primero, el componente de salud que requiere la asistencia a che-
queos para NNA menores de seis años. En este proceso se identifica a los
NNA menores de seis años y se verifica su inscripción en una aseguradora
de salud y una prestadora de servicios. Estas instituciones reportan los
datos a Prosperidad Social sobre las asistencias a chequeos médicos. (De-
partamento de Prosperidad Social, 2019a)

Segundo, los compromisos educativos que requieren la asistencia
de los NNA al 80% de las clases de una institución educativa. El proceso se
realiza en conexión con las bases de datos del Ministerio de Educación y
los reportes de actores como las instituciones educativas y funcionarios del
DPS. (Departamento de Prosperidad Social, 2020)

La verificación de compromisos de FA consta de una compleja red
de actores que reportan información. Con esto, la permanencia del benefi-
cio depende de negociaciones con actores. Es necesario analizar la expe-
riencia de las mujeres en el sistema, las cargas de tiempo y sus estrategias

de negociación. (Departamento de Prosperidad Social, 2019a)

Inteligencia Artificial Feminista
1 07 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Punitivismo y limitaciones en el uso de su tiempo

Las condicionalidades de FA se establecen de manera punitiva. Es
decir, de no llegar a cumplir con los requisitos del programa, la persona be-
neficiaria se ve en riesgo de perder el incentivo económico y cualquier otro
beneficio ligado a este. Esto impacta directamente la experiencia de las
mujeres-madres beneficiarias, pues el Estado las ha hecho responsables
exclusivas de la titularidad del programa. Esta situación las ubica en una
posición de presión desproporcionada en relación con otros integrantes del
hogar. Cuando el Estado no se cuestiona la división sexual del trabajo y
construye las condicionalidades desde el punitivismo, está afectando la vida
productiva de las mujeres y su potencial autonomía.

Esta carga excesiva se expresa en la dificultad de encarar los requi-
sitos que imponen las TMC, llevando a las beneficiarias a mentir sobre su
situación laboral, reportar menos ingresos y ocultar gastos que no se ciñen
a las condicionalidades. (Eubanks, 2018, Monahan, 2017) Los estereotipos
socio-culturales ligados a la imagen de madre cuidadora, junto con la idea
de responsabilidad individual, legitiman la dimensión moral de estos pro-
gramas sociales. Además del tiempo que las mujeres deben invertir para
que los menores del hogar no incumplan las condicionalidades, son impul-
sadas a participar en procesos de “formación” que buscan la modificación
de sus comportamientos.

En FA, por ejemplo, las mujeres-madres beneficiarias deben hacerse
cargo de los errores de las prestadoras de salud o de las entidades educa-
tivas cuando estas no reportan de manera oportuna la información. Es

decir, ellas deben solucionar los errores del reporte cuando no reciben el

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 08

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

incentivo económico habiendo cumplido con las condicionalidades. Aunque
esta situación afecta directamente el ingreso económico de la familia, la
responsabilidad de respuesta recae, junto con el tiempo invertido en el pro-
ceso, en la madre titular. Los errores del sistema, entonces, terminan por
imponer más cargas a las que ya se encuentran sujetas las beneficiarias

del programa.

Disciplinamiento y mujeres-madres como prestadoras de

servicio

En FA, así como en el entramado institucional de la política social en
Colombia, existen valores que se imparten desde el Estado para modificar
el comportamiento de los pobres a través de requisitos a cambio de un be-
neficio económico. (Mason, 2016, p. 70) Actualmente, FA establece com-
ponentes de nutrición, derechos sexuales y reproductivos, inclusión
financiera y demás módulos!*él que estructuran su visión moral sobre la
maternidad. En esta sobreexposición de las mujeres pobres a la injerencia
estatal, la modificación del comportamiento parte de una dimensión moral
sobre sus actuaciones.

El Estado justifica la entrega del dinero a las beneficiarias “como una
medida de discriminación positiva y de empoderamiento del rol de la mujer
al interior de la familia”. (Ley 1532 de 2012, Art. 10, Para. 2) Esta afirmación

[48] En el marco de la entrega de las transferencias monetarias condicionadas del Programa Familias en Acción y con el fin de mejorar las
capacidades y condiciones de vida de las familias participantes, el Programa implementará un conjunto de actividades para impulsar
las capacidades individuales y colectivas de las familias participantes. Estas actividades se enfocarán principalmente en la promoción
de los derechos sexuales y reproductivos, educación nutricional, inclusión productiva y educación financiera”. (Ley 1532, Art. 6A).

Inteligencia Artificial Feminista
1 09 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

no solo carece de una perspectiva crítica de género, sino que demuestra
que el rol se valora siempre que se dé dentro del esquema de familia nu-
clear tradicional: el “empoderamiento” existe al margen de su papel como
cuidadora y administradora dentro del hogar. El perfil institucional de madre
alrededor de las condicionalidades punitivas, sumado a estas afirmaciones,
sustenta la idea de que las mujeres-madres son priorizadas en función de
su papel como madres y prestadoras de un servicio y no como el de sujetas
de derecho.

Las mujeres-madres beneficiarias deben demostrar una “idoneidad
moral” que está ligada al adoctrinamiento de su vida sexual-reproductiva y
su desempeño como madres. En el caso de las beneficiarias hay ciertos
perfiles que se valoran y moldean desde el Estado: para recibir el beneficio
económico hay que demostrar que se es “buena madre” a partir de unos
lineamientos institucionales establecidos. Desde esta perspectiva, el Estado
es una institución que practica la regulación moral adaptando las normas y
valores culturales sobre los "buenos comportamientos” en derechos y res-
ponsabilidades. (Brock, 2003 citado en Gazso, 2012) El componente de
formación de FA que incluye “competencias ciudadanas y comunitarias”,
junto con la responsabilización de las madres por participar en las activida-
des de “beneficio colectivo” del programa, construyen una imagen institu-
cional de “buenas madres” que es premiada o castigada según el caso.
Nuestra observación se dirige a señalar que estos valores no son neutrales
y que, por el contrario, responden a un perfil de responsabilización

individual determinado.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 0

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Conclusiones

El caso de FA alerta sobre el aumento de la vigilancia sobre las mu-
jeres empobrecidas. Ellas son la mayoría de la población en pobreza y las
que más dependen de programas sociales. Por esto, son blanco de vigilan-
cia sobre su condición socioeconómica en el Sisbén y sobre el cumplimien-
to de las condicionalidades en FA. Esto ocurre por medio de bases de
datos compuestas de reportes de muchos actores. Además, las mujeres
son responsables por los errores del sistema, pues son ellas las que pier-
den los beneficios y las que tienen la carga de solucionarlos. Con la expan-
sión de sistemas intensivos de datos, las mujeres serían las más afectadas
tanto en el Sisbén por su pobreza y en FA por su género y su rol de ma-
dres.

Las condicionalidades punitivas de FA imponen una carga diferencial
sobre las mujeres, pues son ellas las responsables no solo de la participa-
ción de los NNA en los componentes del programa, sino que deben partici-
par en el bienestar comunitario. Estas características reproducen la idea de
que los programas sociales dependen del merecimiento. Así, el Estado ins-
trumentaliza a las mujeres-madres en función de su parentesco con los
verdaderos titulares del beneficio, es decir, los NNA del hogar. De esta for-
ma, las mujeres se convierten en las intermediarias entre el Estado y la su-
peración de la pobreza. El análisis crítico de los estereotipos sobre la
maternidad en FA y la política social permite entender los impactos del

cumplimiento de unos deberes impuestos sobre la autonomía de las mujeres.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

RECOMENDACIONES

o Los gobiernos que implementan sistemas automatizados de
análisisde datos no deben utilizarlos para vigilar o poner sospechas

sobre el cumplimiento de las condicionalidades de los programas.

o Los gobiernos deben ser transparentes con los procedimientos y los
datos utilizados cuando se automatiza una decisión dentro del sistema

de protección social.

o Los gobiernos no pueden utilizar sistemas automatizados para
castigar o poner cargas desproporcionadas sobre las mujeres en
condición de pobreza, pues limitan su autonomía aumentando la

inequidad de género.

o Las organizaciones de la sociedad civil que trabajan sobre derechos
humanos en contextos digitales deben abandonar los principios
abstractos y centrarse en los procesos internos de los sistemas de

datos en aplicaciones que impactan diferencialmente a las mujeres.

o Las organizaciones feministas deberían solicitar plena transparencia
sobre los datos y los procesos utilizados para los programas sociales
que se centran en las mujeres para alertar sobre los problemas de la

vigilancia y automatización de procesos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 2

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

REFERENCIAS

Aguilar, P. L. (2011). La feminización de la pobreza: Conceptualizaciones actuales y
potencialidades analíticas. Revista Katálysis, 14(1), 126-133.
https://doi.org/10.1590/51414-49802011000100014

Castañeda, T. (2005). Targeting social spending to the poor with proxy-means
testing: Colombia's SISBEN system. Banco Mundial, 55.
https: //documents1 .worldbank.org/curated/en/364521468019731045/paf/32759.pdf

Ley 1532 de 2012, regula el funcionamiento del Programa Familias en Acción
(2012).

https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=47730

Ley 1948 del 2019, promoción de la movilidad social y se regula el funcionamiento
del programa familias en acción. (2019).
https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=90183

Castro, L., 4 López, J. (2021). Vigilando a las “buenas madres”. Fundación

Karisma.
https://web.karisma.org.co/vigilando-a-las-buenas-madres/

Consejo Nacional de Política Económica y Social. (2000). Documento CONPES
3081 Plan Colombia Red de Apoyo Social: programas de subsidios
condicionados y capacitación laboral de jóvenes desempleados de bajos

recursos.
https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3081.paf

Consejo Nacional de Política Económica y Social. (2005). Documento CONPES
3359 Autorización a la Nación para contratar un empréstito externo con la
banca multilateral hasta por US $86, 4 millones, con el fin de financiar
parcialmente el programa Familias en Acción y el fortalecimiento de la
información y del sistema de monitoreo y evaluación del sector de la
protección social. DNP.
https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3359.paf

Inteligencia Artificial Feminista
1 1 3 Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Departamento Administrativo Nacional de Estadística, y Departamento de
Economía de la Universidad Javeriana. (2021). COVID-19: Brechas de
género en el mercado laboral. DANE..
https: //www.dane.gov.co/files/investigaciones/genero/informes/Informe-participacion-mujer-
mercado-laboral-2.pdf

Departamento de Prosperidad Social. (2017). Guía operativa bienestar comunitario
Programa - Más Familias En Acción.

Departamento de Prosperidad Social. (2019a). Guía operativa verificación de
compromisos en salud Programa Familias en Acción.

Departamento de Prosperidad Social. (2019b). Manual operativo Familias en
Acción. DPS.

Prosperidad Social. (2019, 13 marzo). HFamiTips esta semana viene recargado de
información y buenos consejos [Vídeo]. YouTube.
https://www.youtube.com/watch?v=K5zNdoMiKt4

Departamento de Prosperidad Social. (2020). Guía operativa verificación
compromisos en educación Programa Familias en Acción.

Departamento de Prosperidad Social. (2021). Familias en Acción—Transferencias
condicionadas de Prosperidad Social.
https://prosperidadsocial.gov.co/sgpp/transferencias/familias-en-accion/

Departamento Nacional de Planeación DNP. (2017). Decreto 441 del 16 de marzo
de 2017.

Departamento Nacional de Planeación DNP. (2019). Evaluación de operaciones del
Programa “Más Familias En Acción” y de resultados del componente de
bienestar comunitario.

Departamento Nacional de Planeación DNP. (2020). Solicitud de información No.
20206001258622.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 4

115

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

Eubanks, V. (2006). Technologies of citizenship. Surveillance and political learning
in the welfare system. En T. Monahan (Ed.), Surveillance and security: Tech-
nological politics and power in everyday life. Routledge.

Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and
punish the poor. St. Martin's Publishing Group.

Hughes, C. (2019). From the long arm of the state to eyes on the street: How poor
african american mothers navigate surveillance in the social safety net.
Journal of Contemporary Ethnography, 48(3), 339-376.
https://doi.org/10.1177/0891241618784151

Llano, J. (2014). Familias en Acción: La historia a la luz de sus impactos.
https://www.repository.fedesarrollo.org.co/handle/11445/711

López, J. (2020). Experimentando con la pobreza: El SISBÉN y los proyectos de
analítica de datos en Colombia. Fundación Karisma.
https://web.karisma.org.co/wp-content/uploads/download-manager-
files/Experimentando%20con%20la%20pobreza.pdf

Mason, K. (2016). Responsible bodies: Self-care and state power in the U.S. Wo-
men, Infants, and Children Program. Social Politics: International Studies in
Gender, State 8. Society, 23(1), 70-93.
https://doi.org/10.1093/sp/jxv014

Monahan, T. (2017). Regulating belonging: Surveillance, inequality, and the cultural
production of abjection. Journal of Cultural Economy, 10(2), 191-206.
https://doi.org/10.1080/17530350.2016.1273843

ONU Mujeres (Ed.). (2018). Turning promises into action: Gender equality in the
2030 Agenda for Sustainable Development. UN Women.
https://colombia.unwomen.org/sites/default/files/Field%200ffice%20Colombia/Documentos/Pu
blicaciones/2018/10/0NU%20MUJERES%20-%20LIBRO%20Progress.paf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde Familias en Acción

ONU Mujeres. (2018a). El progreso de las mujeres en Colombia 2018: Transformar
la economía para realizar los derechos.
https: //colombia.unwomen.org/sites/default/files/Field%200ffice%20Colombia/Documentos/Pu
blicaciones/2018/10/0NU%20MUJERES%20-%20LIBRO%20Progress.paf

Rodríguez, C. (2011). Programas de transferencias condicionadas de ingreso e
igualdad de género ¿Por dónde anda América Latina? CEPAL, ONU.
https: //repositorio.cepal.org/handle/1 1362/5836

Rodríguez, C. (2011a). Elementos de un análisis feminista de las políticas contra la
pobreza y las desigualdades en América Latina. En Aportes al debate del desar-
rollo en América Latina. (María del Pilar Foti, p. 152). Red de Género y Comer-
cio.6.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 6

Integración de la perspectiva
de género en las estrategias
de inteligencia artificial

de América Latina: Tatiana Revilla
Programa de Género de la
de la narrativa a la acción Escuela de Gobierno y

Transformación Pública
Tecnológico de Monterrey
México

¿Es necesario regular aspectos de género en la inteligencia artificial? ¿Se
puede lograr mayor igualdad en el futuro y/o no repetir las dinámicas de
poder actuales? ¿Qué regulaciones existen hoy en día? ¿La política pública
puede incidir en la disminución de sesgos de la inteligencia artificial (1A)?

Este texto tiene dos objetivos; el primero, realizar un breve análisis de
las estrategias de lA de países latinoamericanos para saber cómo están inte-
grados —o no- elementos clave relacionados con la Perspectiva de Género
(PEG) en el diseño y uso de inteligencia artificial (IA), como segundo objetivo,
se establecen recomendaciones generales, con base en lo que sí existe o no,
para incorporar a las regulaciones de política pública en la región.

El marco de referencia desde el cual afirmo que la inteligencia artifi-
cial sí es y debe ser susceptible de regulación, no sólo en temas relaciona-

dos con perspectiva de género, sino en diversos aspectos ya ampliamente

Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe 1 1 7

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

estudiadosl!**, se argumenta desde el derecho a la justicia, en específico,
en temas relacionados con PEG, a la justicia de género. Este concepto ha
sido poco utilizado en temas relacionados con lA, pero hoy, da cuenta de la
necesidad y la obligación de integrar enfoques interseccionales desde los
derechos humanos, la igualdad de género y la no discriminación. La justicia
de género busca minimizar las desigualdades, evitar que aumenten y se
reproduzcan, en este caso, a través de la tecnología e lA, trasladando las
dinámicas de poder y opresiones de las interacciones humanas, ahora al

mundo digital.

¿Cómo ha sido la regulación en países de América
Latina?

Las políticas públicas que regulan la lA han sido desarrolladas como
instrumentos denominados planes o estrategias nacionales de inteligencia
artificial, los cuales, de acuerdo con Bradley et al. (2020), intentan coordinar
las políticas gubernamentales para maximizar los beneficios potenciales
para la economía y la sociedad, mientras se minimizan los costos potencia-
les. En América Latina, de acuerdo con Gómez et al. (2020), la mayoría de
los países han desarrollado algún tipo de estrategia alineada con esfuerzos
digitales, incremento de conectividad y desarrollo de infraestructura, datos

abiertos y digitalización.

[49] Como son la transparencia algorítmica, rendición de cuentas, apertura del procesamiento de la información, ética en la selección y
manejo de esta información, seguridad digital y protección de los derechos de privacidad y de datos personales.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 8

119

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Como resultado de un análisis de todas las estrategias nacionales
de inteligencia artificial hasta el 1 de enero del año 2020, Bradley et al.
(2020) señalan que la mayoría de las estrategias contaban con referencias
explícitas a los derechos humanos; sin embargo, estas referencias queda-
ban ambiguas o muy generales. Se expresaba la necesidad de contar con
marcos de referencia éticos o centrados en los derechos humanos, pero sin
claridad y especificidad a qué derechos o qué acciones concretas se re-
ferían. También, señala que el derecho a la privacidad, a la igualdad y a la
no discriminación eran los derechos más comunes, pero sin profundidad
sobre cómo serían protegidos en el desarrollo y uso de la lA.

En el caso específico de América Latina, se presenta un breve aná-
lisis sobre la integración de ciertos componentes de igualdad de género en
las estrategias de lA, en específico de aquellos países que más desarrollo
han tenido en relación con lA.

Los componentes por analizar son:

Integración explícita de Estrategias y/o líneas de

un enfoque de derechos X acción para mitigar los
Ó X

ri n el diseñ
59 humanos esgos en el diseño y /o

uso de la lA respecto a
los sesgos algorítmicos
Integración explícita de la
PEG

Promoción de la

Incorporación de datos 0.0 int Es itari
o o o desagregados, al menos, VO integración paritaria en
(MV por categorías sexo- eS eQuTós Aa
| ' genéricas en el colegiados propuestos

diagnóstico o análisis

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

ArgentinalS01*

Plan Nacional de Inteligencia Artificial

Sx

Sí se identifican líneas de acción,

entre las que se destacan:

- Creación del Observatorio Nacional
en Inteligencia Artificial para realizar
evaluaciones de impacto algorítmico;
- Esquema de gestión de riesgos;

* Evaluaciones para identificar riesgos
potenciales y diseñar una estrategia
para contrarrestar o minimizar el im-
pacto.

No se hace mención explícita de ses-
gos de género o algún otro.

Se menciona como uno de los

Objetivos de Desarrollo Sostenible a

alcanzar en el eje de implementación
de impacto; de trabajo; de ética y de

regulación.

Se destaca la desigualdad de género
como un valor del documento.

Sí Integra un
enfoque de
derechos humanos
Señala especial
énfasis en grupos
sub-representados
Establece la
inclusión social
como prioridad

No se identificó

No se identificó

[50] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La

estrategia más reciente está disponible en

https://ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

120

121

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

BrasillS11
Estratégia Brasileira de Inteligéncia Artificial - EBIA

Sí se identifican estrategias, entre las

que destacan:

* Financiación de proyectos de
investigación que apunten a aplicar
soluciones éticas, principalmente en
los campos de equidad y no
discriminación (fairness)

* Desarrollar técnicas para identificar y
abordar el riesgo de sesgo
algorítmico.

* Fomentar la difusión de códigos
fuente abiertos capaces de verificar
tendencias discriminatorias en
conjuntos de datos y modelos de
aprendizaje automático.

- Crear mecanismos para aumentar el
interés de los brasileños en materias
STEM (matemáticas, ciencias,
tecnología e ingeniería) en edad
escolar, con especial énfasis en
programas de inclusión de género y
raza.

Sí establece la importancia de tomar

en cuenta criterios de desigualdad de
género en diversos ámbitos
relacionados con la lA.

[51] Estrategia publicada en el año 2021. Disponible en

A

o

oo

UN

=>

Sí establece la
relación del diseño
de lA con los
derechos humanos,
diversidad y
sociedades justas.

Se identificaron
únicamente datos
respecto a la baja
presencia de
mujeres en
profesiones
relacionadas con la
IA en el país.

Establece el
fomento a la
composición diversa
de los equipos de
desarrollo de lA en
términos de género,
raza, orientación
sexual y otros
aspectos
socioculturales.

https: //www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/arquivosinteligenciaartificial/ia_estrategia_diagramacao_4-
979 2021.pdf

Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Chilels21

Política Nacional de Inteligencia Artificial

PS)

Sí se identifican estrategias, entre las

que destacan:

"Fomentar la participación de mujeres
en áreas de investigación y desarrollo
relacionadas con la lA, hasta alcanzar
un nivel igual o mayor a la OCDE.
"Fomentar la participación de mujeres
en áreas de lA en la industria hasta
alcanzar, al menos, un valor igual o
superior al promedio OCDE y velar
por que el impacto de la automatiza-
ción no perjudique por género y que la
creación de empleo sea equitativa.
"Fomentar la equidad de género en la
implementación de sistemas de lA.
«Incorporar variables de género en los
ejercicios de prospección del mercado
laboral, focalizando políticas de capa-
citación y actualización a mujeres
para mitigar el impacto de la
automatización en ámbitos donde son
mayormente perjudicadas.

Integra elementos de lA inclusiva,

señalando categorías sospechosas
principalmente el género.

Contiene un apartado exclusivo sobre
las brechas de género.

[52] Disponible en
https://minciencia.gob.cl/uploads/filer_public/bc/38/bc389daf-4514-4306-867c-760ae7686e2c/documento_politica_ia_digital_.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

AR

Establece a los
derechos humanos
como un eje
transversal

Sí establecen datos

desagregados por
sexo:

“En la metodología
de diseño de la
estrategia

"En el apartado de
género respecto a
las brechas.

Sí se establecen
como parte de las
líneas de acción de
género

122

123

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Colombial*3l

Política Nacional para la Transformación Digital e inteligencia

artificial
SY No se identificó
Xx

No se identificó

El

[53] Estrategia disponible en
https://www.asocapitales.co/nueva/2021/03/01/documento-conpes/

Establece el respeto

K por los derechos
humanos como
principio general de
la estrategia.

AVIV No se identificó

o _—__——_———
MA No se identificó

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Méxicol54
Agenda Nacional Mexicana de Inteligencia Artificial

pS) Sí se identifican estrategias, entre las Sí Integra un

x | que destacan: E enfoque de
«Crear un órgano independiente derechos humanos
especializado en la protección y Señala especial
vigilancia de los derechos humanos énfasis en grupos
en temas relacionados con el sub-representados
desarrollo y la implementación de lA. Establece la
“Proponer legislación para auditar a inclusión «sgclal
las empresas y organizaciones que como prioridad
generen un perjuicio a través del
desarrollo o el uso de sistemas mz
autónomos inteligentes A No se identificó
«Crear mecanismos internos para NU
identificar y monitorear sesgos y
errores durante toda la vida útil de los
sistemas de lA
«Comprender y establecer líneas

éticas de uso responsable y confiable 2 2 No se identificó
de lA, ética, leyes, manejo de sesgos I N
de manera sistémica en los grupos de

investigación.

Integra la igualdad y no discriminación
como una prioridad y eje estratégico.

[54] Disponible en
https://ia-latam.com/wp-content/uploads/2020/09/Agenda-Mexicana-de-lA-2020.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 24

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Uruguayl*l
Estrategia de Inteligencia Artificial para el Gobierno Digital

No se identificó Establece el respeto

K por los derechos
humanos como
principio general de
la estrategia.

No se identificó

ooo

Ya No se identificó

AA No se identificó

Dl

[55] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La
estrategia más reciente está disponible en
https: //ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf

Inteligencia Artificial Feminista
1 25 Hacia una agenda de investigación en América Latina y el Caribe

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Como se observa, cada una de las estrategias integra el tema de
una manera distinta. Aun cuando todas las estrategias señalan el enfoque
de derechos humanos como parte transversal, no todos establecen de ma-
nera explícita la PEG. Argentina, Brasil, México y Chile tienen claramente
un abordaje prioritario, estableciendo estrategias o líneas de acción
concretas dándole una importancia preponderante al tema, especialmente
México y Chile.

Un aspecto interesante es que ninguna estrategia establece indica-
dores y presupuestos alineados con las líneas de acción. El único país que
establece un apartado presupuestal aproximado de manera general por
entidad hasta el año 2022, es Colombia, pero no cuenta con un desglose
en el que se identifiquen acciones concretas relacionadas con la integración
de la PEG ni algún otro elemento. Esto podría representar un problema en
el momento de la implementación y evaluación de las estrategias, debido a
la ambigúedad en qué se quiere lograr, el tiempo, responsables y con qué
presupuesto.

En el tema de un uso inclusivo y neutral de lenguaje, se identificó
que las estrategias que cuentan con apartados específicos de género,
como Chile y México, son aquellas que utilizan un lenguaje más neutro y
menos uso de masculinos generalizados. Esto importa debido a que el pro-
cesamiento neutral de lenguaje es un aspecto prioritario en el desarrollo,
uso y evaluación de la lA y el que los países utilicen este lenguaje en los
instrumentos de política pública podría ser un referente simbólico trascen-
dental para otras acciones de más profundidad en el desarrollo, uso y eva-

luación de sesgos algorítmicos, por ejemplo.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 26

127

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

Como señalan Gómez M. et al. (2020), América Latina y el Caribe se
encuentran en una etapa temprana de desarrollo de estrategias, guías éti-
cas y normatividad; sin embargo, esto podría representar una oportunidad
para que el diseño de las estrategias pueda seguir su propio curso con
base en las necesidades propias de los países y comunidades locales,
tomando en cuenta la fuerte colonización de la tecnología, el lenguaje y la

hiperconectividad global.

RECOMENDACIONES

En este sentido, algunas recomendaciones para la integración de la PEG
en la estrategias o instrumentos de política pública para países de la región

son:

o Política explícita de igualdad de género e inclusión social

Además de un enfoque de derechos humanos, la integración explícita de
un enfoque de género e inclusión social en las estrategias de lA es-
tablece el reconocimiento del tema como un elemento prioritario y oblig-

atorio a considerar por todos los actores involucrados.

o Representación paritaria y acciones afirmativas

Con el objetivo de minimizar las brechas de la participación de mujeres y
otros grupos subrepresentados, se debería establecer la paridad de
género, y, en la medida de lo posible de otros grupos históricamente ex-
cluidos, en el desarrollo, implementación y evaluación de sistemas de lA,
así como en los comités éticos, de auditoría y/o cualquier otro órgano

colegiado que se establezca en las estrategias.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

o Definición del problema

Las estrategias de lA deberán integrar un diagnóstico y/o análisis con vari-
ables desagregadas no solo por identidades sexo-genéricas, sino de nivel
socioeconómico, categorías raciales/étnicas, discapacidad, comunidad
LGBTIQ+, con el objetivo de visibilizar, desde distintas interseccionalida-
des, las problemáticas, brechas y desigualdades relacionadas con el de-

sarrollo, uso y evaluación de la lA específicos del país y estás poblaciones.

o Establecimiento de estrategias y planes de acción concretas

Para garantizar de algún modo las acciones, se deberían alinear las es-
trategias y líneas de acción a metas, indicadores, presupuestos y mode-
los de evaluación y seguimiento. Lo que no se mide, no sirve y, en el
marco de la política pública, se deben de realizar evaluaciones de im-
pacto, resultados y de proceso con base en lo establecido en los instru-
mentos. De no existir estos elementos, se corre el riesgo que se quede

en un documento meramente simbólico.

o Deconstrucción de sistemas hegemónicos

Los países latinoamericanos, a través de los diagnósticos y análisis con
perspectiva de género y enfoque interseccional, tienen la oportunidad de
deconstruir las lógicas de poder no solo entre los géneros, sino de los
distintos grupos en situación de vulnerabilidad y/o exclusión, creando
estrategias y herramientas específicas acorde con las necesidades de las
sociedades latinoamericanas, no solo reproducir aquellas prácticas
relacionadas con la lA de los países que tienen el control y poder en

desarrollo tecnológico.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 28

Integración de la perspectiva de género en las estrategias de
inteligencia artificial de América Latina: de la narrativa a la acción

REFERENCIAS

Abdala, M. B.; Lacroix Eussler, S. £ Soubie, S. (2019). La política de la Inteligencia
Artificial: sus usos en el sector público y sus implicancias regulatorias.
Documento de Trabajo N*185, Buenos Aires: CIPPEC.
https: //www.cippec.org/wp-content/uploads/2019/10/185-DT-Abdala-Lacroix-y-Soubie-La-
polY%C3%ADtica-de-la-Inteligencia-Artifici....pdf

Bradley, C.; Wingfield, R. 8 Metzger, R. (2020). National artificial intelligence
strategies and human rights: A review. Global Partners Digital (Stanford's
Global Digital Policy Incubator).
https://www.gp-digital.org/publication/national-artificial-intelligence-strategies-and-human-r ights-
a-review/

Galindo, L., K. Perset and F. Sheeka. (2021). An overview of national Al strategies
and policies. Going Digital Toolkit Note, No. 14,
https://goingdigital.oecd.org/data/toolkitnotes/No14_ToolkitNote_AlStrategies.pdf=

Gómez M. C. 8 Del Pozo, C. M. et.al. (2020). La inteligencia artificial al servicio del
bien social en América Latina y el Caribe: panorámica regional e instantáneas
de doce países. Banco Interamericano de Desarrollo y CMINDS..
https: //publications.iadb.org/publications/spanish/document/La-inteligencia-artificial-al-servicio-
del-bien-social-en-America-Latina-y-el-Caribe-Panorámica-regional-e-instantáneas-de-doce-
paises.paf

4 29 Inteligencia Artificial Feminista

Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
feminista para

. ” 56
mujeres latinas!*! Sana

Northwestern University
Estados Unidos

Ivonne Muñoz

IT Lawyers SC
México

Norma Elva Chávez

Universidad Nacional
Autónoma de México
México

En 2021, el Instituto Mexicano de la Propiedad Industrial realizó un estudio
que reflejó la participación de las mujeres mexicanas en las solicitudes de
registro de invenciones (patentes) ante esta autoridad. Los resultados
muestran datos interesantes y crudos desde una perspectiva de género, ya
que sólo el 14% de las invenciones presentadas en los últimos dos años
corresponden exclusivamente a mujeres mexicanas. De estas, el 22%
corresponden a grupos mixtos (patentes que están compuestas por equipos

que incluyen tanto a hombres como a mujeres) y en donde destaca que en

[56] Este trabajo fue parcialmente apoyado por la subvención NSF FW-HTF-19541. Un agradecimiento especial a Seth Cooper, Rosta
Farzan y Grecia Macias por sus comentarios sobre este artículo.

Inteligencia Artificial Feminista
1 30 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

el 49% de dichos grupos mixtos solo participa una mujer, en el 30% solo
dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo el
2% de los grupos mixtos integra a cinco o más inventoras mexicanas.

En el caso de las mujeres latinas en Estados Unidos, la falta de de-
sarrollo profesional puede resultar en la deserción de mujeres. (Alcorn,
2020; Ryan, 2003) Sin diversidad, la ciencia ciudadana puede resultar en
investigaciones que no son deseables para una parte de la población.
(Chesser, Porter 8 Tuckett, 2020; Schafer 8 Kieslinger, 2016) Parte del
problema es que hay menos investigación sobre cómo cerrar esta brecha
de participación (Hargittai 84 Shaw, 2015; Schradie, 2012). Con base en
teorías sociales relacionadas (Gallus, 2017; Locke 8 Latham,2002; Ryan €
Deci, 2000), planteamos la hipótesis de que podríamos abordar este pro-
blema convirtiendo las microtareas de los proyectos de ciencia ciudadana
que realizan las mujeres latinas en oportunidades para que aumenten, paso
a paso, su autoeficacia y así faciliten su desarrollo profesional. A través de
esto, esperamos aumentar la participación, las contribuciones y las posicio-
nes de liderazgo que toman las mujeres.

Prevemos el siguiente caso de uso de nuestra herramienta: para un
conjunto determinado de proyectos de ciencia ciudadana en Estados Uni-
dos y una mujer voluntaria individual, la herramienta podría identificar que
esa mujer se beneficiaría al completar microtareas de ciencia ciudadana
sobre "identificación de peligros en imágenes y videos". La herramienta
también podría recomendar completar un programa de certificado de estu-

dio independiente para "Conocer los peligros" de la Agencia Federal para el

Inteligencia Artificial Feminista
1 3 1 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

Manejo de Emergencias (FESA)I$7. En última instancia, los certificados
podrían ayudarla a postularse para trabajos gubernamentales de nivel ini-
cial. Prevemos que, dependiendo de los objetivos profesionales de la mujer,
así como de la región donde resida, se le recomendará tomar diferentes ti-
pos de certificados profesionales. Algunas de las certificaciones que explo-
ramos inicialmente incluyen las de la Agencia Federal para el Manejo de
Emergencias (ya que hay varios certificados que se relacionan con tareas
de etiquetado de imágenes y videos), o certificaciones del Gobierno Federal
de Méxicol58l (especialmente porque tienen varios certificados para trabajos
de entrada de nivel inferior que utilizan habilidades relacionadas con la
ciencia ciudadana, y planeamos asociarnos con ONG en América Latina).
Adicionalmente, es necesario considerar como parte del marco de esta in-
vestigación la representación del género femenino en la actividad de inven-
tos en América Latina, particularmente en México (de donde son las tres
autoras), considerando este aspecto como un fiel reflejo de si se respeta o

no que las mujeres tengan una participación igualitaria en este ámbito.

Diseño de herramientas

Nuestros métodos se centran en diseñar una herramienta inteligente
que aprenderá con el tiempo qué microtareas de ciencia ciudadana y qué

recomendaciones de certificados profesionales son mejores para una

[57] https://training.fema.gov/is/

[58] https://www.mexicox.gob.mx/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 32

Inteligencia artificial feminista para mujeres latinas

colaboradora específica para aumentar su sentido de autoeficacia y desa-
rrollo profesional. La figura 1 presenta una descripción general de cómo
nuestra herramienta integra un módulo de aprendizaje de refuerzo que
aprende a través del tiempo qué tareas y certificaciones las mujeres latinas
consideran más útiles para estos esfuerzos. Este módulo de aprendizaje
por refuerzo operará en el backend de nuestra herramienta y nuestro fron-
tend será un complemento web para MTurkl3%1, donde publicaremos tareas
de ciencia ciudadana por realizar. El objetivo de nuestra herramienta de
datos será generar políticas que conduzcan a una secuencia de microta-
reas y programas de certificación que maximicen una función de utilidad
específica. En nuestro caso, la función de utilidad se define por el nivel de
autoeficacia percibida y desarrollo profesional de los participantes. Hay que
considerar que, para consultar a los participantes sobre su autoeficacia
percibida, nos basamos en un trabajo relacionado que ha desarrollado me-

didas para la ciencia ciudadana. (Hiller, 2016)

[59] Amazon Mechanical Turk (MTurk) es un mercado de crowdsourcing que facilita que las personas y las empresas subcontraten sus
procesos y trabajos a una fuerza laboral distribuida que puede realizar estas tareas virtualmente. Las tareas pueden incluir desde
realizar una simple validación de datos hasta tareas más subjetivas como la participación en encuestas o moderación de contenido y
más.
https://www.mturk.com/

Inteligencia Artificial Feminista
1 33 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

Figuras 1, 2 y 3

HIT UE 2;
pa :. sn o as ..
Amazon Requester inc - C- [French language proficiency requir 61.046 $0 50 th ago
A
Amazon Requester inc. -C (ARMA DIVDRADLOA 79 LS > 50,647 $0 50 In ago
bs
Amazon Requester inc - C- Product to interest Aud (ungle yev 28,379 $015 1h ago
AN
Arrazon Roquester inc. - € [dorrinio del doma ospañol requer! Y 27.670 $0 50 21M ago
A pr
Amazon Requester inc -C [Proficióncia no iioma portugués tr” 7 10,719 $0 50 20h ago
bs

Completing this task and then doing the professional certificate
from FEMA (LINK) could help you obtain a job in the Federal
Government for Emergency Management.

Vos ae get 4 se el pucca picas drag 00 degrada a cr
ad id
A

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 34

Inteligencia artificial feminista para mujeres latinas

Nuestra herramienta se inicia primero con microtareas de ciencia
ciudadana y programas certificados relacionados seleccionados al azar o
en función de la popularidad global o de la facilidad de la tarea. Después de
cada tarea, la herramienta presenta breves preguntas de retroalimentación
para los participantes sobre la utilidad de la tarea y los programas de certi-
ficación en relación con la función de utilidad. (ver Figura 2) Por ejemplo, la
herramienta podría preguntar a las mujeres latinas qué tan capaces se
sienten con las tareas y el programa de certificación que acaban de com-
pletar y cuánto sienten que les está ayudando en su desarrollo profesional.
El módulo de aprendizaje por refuerzo luego usa esta información como un
ciclo de retroalimentación y datos de entrenamiento para aprender con el
tiempo la secuencia más óptima de microtareas para maximizar la función
de utilidad particular. Con este fin, formulamos el siguiente objetivo: quere-
mos maximizar la utilidad general esperada (por ejemplo, la autoeficacia y
el desarrollo profesional) "e" después de participar en el proceso de pro-
ducción con un conjunto específico de tareas y programas de certificación,
mediante el uso de una óptima política de recomendación p*. Matemática-

mente, este problema se puede escribir como:

*

p = argmax E, (e) (1)

Observe que p es una familia de políticas descritas por una función
de masa de probabilidad (PMF) discreta sobre un conjunto de n tareas (que
incluyen microtareas de ciencia ciudadana y completar certificados profe-

sionales) que van desde ¡i=1 a n, ye es la retroalimentación que las

Inteligencia Artificial Feminista
1 35 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

participantes brindaron sobre cuánto sintieron que las tareas y certificados
de ciencia ciudadana recomendados ayudaron a su autoeficacia y desa-

rrollo profesional. El valor de la utilidad esperada se puede calcular como:

E, = 2 e Pr Ct, w)

= o

_Pr(t) Pr (w)
ji 1 L J]

= w Fp(2)

donde w es un PMF sobre todas las participantes (donde tenemos m
número total de participantes), F es una matriz m x n que contiene los
puntajes de retroalimentación después de cada tarea, y p es la política
sobre las microtareas. El superíndice T indica transposición. La matriz F re-
gistra así la retroalimentación del j-ésimo participante en la j-ésima fila y las
microtareas (que incluyen tareas de ciencia ciudadana y finalización de
certificados de desarrollo profesional) se organizan sobre las columnas
utilizando un índice ¡. Esto significa que e¡¡ es el puntaje de retroalimenta-
ción otorgado por el j-Ésimo participante después de completar la tarea /.
Las microtareas de ciencia ciudadana o los programas de certificación no
completados se considerarán con puntajes de retroalimentación bajos. Las
políticas ppmfs están condicionadas a determinados proyectos de ciencia
ciudadana con sus correspondientes certificados de profesionalidad. Una

política se centrará en seleccionar la tarea con el mayor valor esperado, y

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 36

Inteligencia artificial feminista para mujeres latinas

teniendo en cuenta la incertidumbre que tenemos sobre la distribución de
recompensas (pulgares arriba-pulgares abajo) de la tarea. Esto nos permite
equilibrar la exploración y la explotación. Hay que considerar que nuestros
algoritmos de orientación son, por lo tanto, generalizables y aplicables en
todos los proyectos de ciencia ciudadana con sus programas de certifica-
ción relacionados. Para cada tipo de proyecto de ciencia ciudadana,
nuestros algoritmos aprenderán una política diferente (es decir, el tipo de
microtareas y certificados que son mejores para obtener en proyectos de
ciencia ciudadana centrados en el cambio climático pueden ser diferentes
de los centrados en la atención médica).

En la implementación completa de nuestras herramientas inteli-
gentes, también planeamos incorporar técnicas de minería de datos para
utilizar datos históricos de un proyecto de ciencia ciudadana en particular
para identificar los patrones de microtareas que se han asociado con una
participación exitosa y luego integrar ese conocimiento en nuestros
algoritmos de orientación. Esta información se puede utilizar para alimentar
nuestro algoritmo en la etapa inicial, cuando no se han recopilado todavía
los comentarios individuales necesarios. En iteraciones de nuestros méto-
dos computacionales, también planeamos crear un ciclo de retroalimenta-
ción computacional de la reacción de la comunidad de ciencia ciudadana al
trabajo que producen las mujeres latinas y también incorporar información
sobre las habilidades y el conocimiento de una mujer. Nuestros algoritmos
inteligentes aprenderán con el tiempo cuáles son las mejores tareas y pro-
gramas de certificación para hacer que ciertos tipos de latinas se sientan

más capaces, sientan que están creciendo profesionalmente, teniendo en

Inteligencia Artificial Feminista
1 31 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

cuenta también los comentarios de la comunidad científica ciudadana. Uno
puede imaginar que el algoritmo puede ajustarse para maximizarse a nivel

individual de una mujer o a nivel de proyecto de ciencia ciudadana.

Representación de mujeres latinoamericanas en inven-

ciones mexicanas

En 2021, el Instituto Mexicano de la Propiedad Industriall$% realizó
un estudio que reflejó la participación de las mujeres mexicanas en las soli-
citudes de registro de invenciones (patentes) ante esta autoridad. Los
resultados muestran datos interesantes y crudos desde una perspectiva de
género, ya que sólo el 14% de las invenciones presentadas en los últimos
dos años corresponden exclusivamente a mujeres mexicanas. De estas, el
22% corresponden a grupos mixtos (patentes que están compuestas por
equipos que incluyen tanto a hombres como a mujeres) y en donde destaca
que en el 49% de dichos grupos mixtos solo participa una mujer, en el 30%
solo dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo
el 2% de los grupos mixtos integra a cinco o más inventoras mexicanas.

Estas cifras llevan a la reflexión obligatoria de encontrar una forma a
través de la cual se garantice una participación más igualitaria de las
mujeres en las invenciones, ya que a pesar de la existencia de la Ley

Federal para la Igualdad entre mujeres y hombres (Ley Federal 227, 2006)

[60] https://www.gob.mx/impi/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 38

Inteligencia artificial feminista para mujeres latinas

y la Ley Federal para Prevenir y Eliminar la Discriminación (Ley Federal
179, 2003) en México, es inminente el bajo nivel de representación del
género femenino en los procesos inventivos. Ambas leyes están dirigidas a
promover principalmente la no discriminación de las mujeres por su condi-
ción de género, garantizándoles su derecho a la educación, a la libre
elección de su profesión, el derecho a la formación especializada, al acceso
a la información y a las tecnologías de la información. Sin embargo, la
situación demuestra la falta de seguimiento de los derechos que tienen las
mujeres de ser tratadas por igual en toda situación y que por supuesto está
ligada al derecho a la educación sin ser víctimas de discriminación tan solo
por su género.

La referida legislación prevé formas para prohibir la discriminación
en relación con el desarrollo profesional, entre las que se destacan las
siguientes: impedir el acceso o permanencia a la educación pública o
privada, así como a becas e incentivos en centros educativos; establecer
contenidos, métodos o instrumentos pedagógicos en los que se asignen
roles contrarios a la igualdad o que difundan una condición de subor-
dinación; prohibir la libre elección de empleo, o restringir las oportunidades
de acceso, permanencia y promoción en el mismo; establecer diferencias
en remuneración, beneficios y condiciones de trabajo para puestos iguales;
limitar el acceso y la permanencia en los programas de entrenamiento y
formación profesional; impedir la participación en igualdad de condiciones
en asociaciones civiles, políticas o de cualquier otro tipo; limitar la libre ex-
presión de ideas; impedir la accesibilidad a la información, tecnología y

comunicaciones; restringir la participación en actividades culturales;

Inteligencia Artificial Feminista
1 39 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

restringir o limitar el uso de su lengua, usos, costumbres y cultura; e imple-
mentar o ejecutar políticas públicas, programas u otras acciones guberna-
mentales que tengan un impacto desfavorable en los derechos de las

personas.

Conclusión

Propusimos una herramienta basada en lA que podría motivar a las
mujeres de América Latina a participar en proyectos de ciencia ciudadana.
Nuestra esperanza es que otras investigaciones puedan usar nuestros
principios de diseño para identificar diferentes formas en las que también
puedan diseñar herramientas inteligentes para ayudar a motivar a las po-
blaciones subrepresentadas a participar en diferentes esfuerzos y, por lo
tanto, ayudar a cambiar quiénes pueden participar en diferentes

actividades.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 40

Inteligencia artificial feminista para mujeres latinas

RECOMENDACIONES

o Al diseñar herramientas de lA para aumentar la participación de poblaciones
subrepresentadas, es fundamental hacerlo con las propias poblaciones para
comprender sus necesidades, y diseñar herramientas que puedan coincidir con lo que
estas poblaciones realmente necesitan. En nuestro laboratorio de la Northwestern
University y en la UNAM, hemos estado diseñando herramientas junto con diferentes
poblaciones de mujeres, incluidas personas de regiones rurales y trabajadoras
tecnológicas. (Ángel, Savage 8 Moreno, 2015; Beltrán, 2020; Hanrahan et al., 2020)
Es crucial adoptar una filosofía de diseño en la que se tomará el tiempo para
conectarse y comprender a las comunidades antes de desarrollar algo para ellas.

o También es importante saber que la lA no siempre es la solución a todos los
problemas. Es mejor adoptar un enfoque de diseño centrado en el ser humano y
permitir que los problemas y las necesidades de la comunidad sean los que definan
ese diseño. Es crucial dedicar tiempo a iterar la tecnología con las poblaciones
subrepresentadas para garantizar que les sea útil y se adopte a largo plazo.

o En el proceso de creación de programas que promuevan la participación de grupos
conformados por mujeres, es fundamental que puedan sensibilizarse sobre sus
derechos de acceso a la educación, tanto básica como especializada, así como sobre
la importancia de su participación en procesos creativos en los que más mujeres están
involucradas, por lo que se considera este como uno de los elementos de
configuración más importantes en los modelos creados con ese propósito.

o Todo proyecto cuyo objetivo sea promover la participación de las mujeres debe partir
de la construcción de un escenario en el que las mujeres tengan acceso igualitario al
uso, control y disfrute de los bienes, servicios y recursos de la sociedad, así como a la
toma de decisiones en todos los ámbitos de la vida social, económica, política, cultural
y familiar.

Inteligencia Artificial Feminista
1 4 d Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

REFERENCIAS

Alcorn, T. (2020). Woolly bully: Exploring high school students” science identities
and attitudes in the context of a citizen science project. [Tesis doctoral].
University of Massachusetts Lowell.
https: //www.proquest.com/openview/2d0e467f16e9278d86444a9068ab1a5a/1?pq-
origsite=gscholarg8cbl=187508.diss=y

Ángel, W., Savage, S., 8 Moreno, N. (2015). Participatory stoves: Designing
renewable energy technologies for the rural sector. In Proceedings of the 18th
ACM Conference Companion on Computer Supported Cooperative Work €.
Social Computing, pp. 259-262.
https://numancomputerinteraction.wvu.edu/files/d/0fa78d83-7144-454e-aed5-
d109ea9aaced/stoves.pdf

Antonio, A., 8 Tuffley, D. (2014). The gender digital divide in developing countries.
Future Internet, 6(4), 673-687.
https://doi.org/10.3390/fi6040673

Beltrán, H. (2020). The first Latina Hackathon: Recoding infrastructures from
México. Catalyst: Feminism, Theory, Technoscience, 6(2).
https://doi.org/10.28968/cftt.v11001.32904

Chesser, S., Porter, M. M., 8 Tuckett, A. G. (2020). Cultivating citizen science for all:
ethical considerations for research projects involving diverse and marginalized
populations. International Journal of Social Research Methodology, 23(5),
497-508.
https://doi.org/10.1080/13645579.2019.1704355

Ley general para la igualdad entre mujeres y hombres. (2006). D.O.F. 18 de mayo
de 2022. México.
https://www.diputados.gob.mx/LeyesBiblio/pdf/LGIMH.paf

Ley federal para prevenir y eliminar la discriminación. (2003). D.O.F. 17 de mayo de
2022.
https: //www.diputados.gob.mx/LeyesBiblio/pdf/LFPED.pdf

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 42

143

Inteligencia artificial feminista para mujeres latinas

Gallus, J. (2017). Fostering public good contributions with symbolic awards: A large-
scale natural field experiment at Wikipedia. Management Science, 63(12),
3999-4015.
https://doi.org/10.1287/mnsc.2016.2540https://par.nsf.gov/servlets/purl/10175706

Hanrahan, B. V., Ma, N. F., Betanzos, E., 8 Savage, S. (2020). Reciprocal research:
Providing value in design research from the outset in the rural United States.
In Proceedings of the 2020 International Conference on Information and
Communication Technologies and Development (pp. 1-5).
https: //par.nsf.gov/servlets/purl/10175706

Hargittai, E., 8 Shaw, A. (2015). Mind the skills gap: the role of Internet know-how
and gender in differentiated contributions to Wikipedia. Information,
communication 8 society, 18(4), 424-442.
https://doi.org/10.1080/1369118X.2014.957711

Hiller, S. (2016). The validation of the Citizen Science Self-Efficacy Scale (CSSES).
International Journal of Environmental and Science Education 11.5, pp. 543-
558.
https://psycnet.apa.org/record/2017-16685-003

Hoffmann, C. P., Lutz, C., 8 Meckel, M. (2015). Content creation on the Internet: A
social cognitive perspective on the participation divide. Information,
Communication 8 Society, 18(6), 696-716.
https://doi.org/10.1080/1369118X.2014.991343

Ibrahim, K., Khodursky, S., 84 Yasseri, T. (2021). Gender imbalance and
spatiotemporal patterns of contributions to citizen science projects: The case
of Zooniverse. Frontiers.
https://doi.org/10.3389/fphy.2021.650720

Lee Dr, S. E. (2013). Education as a Human Right in the 21st Century. Democracy
and Education 21.1: 1.

https://democracyeducationjournal.org/home/vol21/iss1/1

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial feminista para mujeres latinas

Locke, E. A., 8 Latham, G. P. (2002). Building a practically useful theory of goal
setting and task motivation: A 35-year odyssey. American Psychologist, 57(9),
705.
https://doi.org/10.1037/0003-066X.57.9.705

Ryan, R. M., 8 Deci, E. L. (2000). Self-determination theory and the facilitation of
intrinsic motivation, social development, and well-being. American
Psychologist, 55(1), 68.
https://doi.org/10.1037/0003-066X.55.1.68

Ryan, J. (2003). Continuous professional development along the continuum of
lifelong learning. Nurse Education Today, 23(7), 498-508.
https://doi.org/10.1016/50260-6917(03)00074-1

Scháfer, T., 4 Kieslinger, B. (2016). Supporting emerging forms of citizen science: A
plea for diversity, creativity and social innovation. Journal of Science
Communication, 15(2), YO2.
https://doi.org/10.22323/2.15020402

Schradie, J. (2012). The trend of class, race, and ethnicity in social media inequality:
Who still cannot afford to blog? Information, Communication 8 Society, 15(4),
555-571.
https://doi.org/10.1080/1369118X.2012.665939

Van Dijk, J. A. (2006). Digital divide research, achievements and shortcomings.
Poetics, 34(4-5), 221-235.
https://doi.org/10.1016/¡.poetic.2006.05.004

Zulkosky, K. (2009). Self efficacy: a concept analysis. In Nursing forum (Vol. 44, No.
2, pp. 93-102). Malden, USA: Blackwell Publishing Inc.
https://doi.org/10.1111/j.1744-6198.2009.00132.x

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

144

Incubando lA feminista

Hacia un marco feminista
para el desarrollo de la lA:

de los principios a la práctica Juliana Guerra

Derechos Digitales
Colombia

Al percibimos las condiciones injustas en las que, cada vez más, los sis-
temas algorítmicos se utilizan para la toma de decisiones, que afectan
especialmente a las mujeres, las personas de género diverso y racializa-
das, nos cuestionamos: ¿es posible desarrollar una lA que no reproduce
lógicas de opresión? ¿Qué aspecto tendría?

Esta posibilidad podría ser aún remota, especialmente si se consi-
dera que la mera idea de “inteligencia” incrustada en las teorías que
originaron y aún sostienen el concepto de lA ignoran en gran medida los
múltiples saberes que existen -y resisten- más allá del mundo occidental.
Sin embargo, trabajando en América Latina identificamos varias experien-
cias de desarrollo tecnológico inspiradas y guiadas por principios feministas
enfocados en la justicia social y en la transformación que pueden inspirar
iniciativas similares adaptadas a la lA. Con nuestro proyecto, buscamos
resaltar las prácticas, teorías y perspectivas críticas que emergen de la
región cuestionando la idea dominante de lo que es y puede ser la lA.

Intentando avanzar en esa dirección, hemos comenzado a desarro-
llar una guía práctica para el diseño colaborativo de sistemas de lA. La guía

se alimenta de tres fuentes:

Inteligencia Artificial Feminista
1 46 Hacia una agenda de investigación en América Latina y el Caribe

Hacia un marco feminista para el desarrollo de la lA:
de los principios a la práctica

o Diferentes conjuntos de tecnologías relacionadas con principios
feministas y de justicia social

o Guías feministas desarrolladas en América Latina para la
producción y gestión de datos, así como para el despliegue y
mantenimiento de infraestructura

o Experiencias concretas de mujeres que trabajan en el campo de la

IA en América Latina

Teniendo en cuenta que una lA feminista debe abordar las
necesidades y las preocupaciones locales previamente identificadas por un
grupo interesado que forma parte de las personas proyectadas como futuras
usuarias, esta guía no es aplicable a los sistemas de lA a gran escala.

En un proceso inicial de cinco pasos, el objetivo de esta guía es llegar
a un entendimiento común de los riesgos, oportunidades y capacidades para
el desarrollo de un sistema de lA. Ella sugiere a los desarrolladores identifi-
car si un sistema de lA es la solución más adecuada para el problema al que

una comunidad quiere responder y, de no ser así, avanzar con alternativas.

Cuando la opción es continuar con la lA, la guía orienta la toma de
decisiones conscientes e informadas en el diseño de un sistema que tenga
en cuenta el uso de bases de datos, herramientas y entornos de trabajo, así
como las políticas de recolección, almacenamiento y gestión de datos. El
aspecto más importante del proceso de diseño de lA es que es continuo,
activo y basado en acuerdos y toma de decisiones colectivas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 47

Hacia un marco feminista para el desarrollo de la lA:
de los principios a la práctica

¿Por qué un marco feminista para desarrollar lA es la

mejor solución?

Estas consideraciones a nivel de diseño de lA son clave dados los
efectos discriminatorios de los sistemas de lA en poblaciones históricamen-
te marginadas que ya fueron documentados por activistas y académicos de
todo el mundo. Desde una perspectiva feminista latinoamericana, creemos
que para reducir los efectos discriminatorios de la |A estos grupos deben
participar activamente en su proceso de concepción, diseño y desarrollo, y
se deben implementar criterios de evaluación de impacto construidos de
abajo hacia arriba. Para comenzar este proceso, es necesario encontrar
una base común de comprensión y flujo de trabajo entre los grupos intere-
sados en implementar una lA y los equipos de desarrollo tecnológico.

Una IA feminista latinoamericana no termina en un sistema
particular. El proceso de definir su adopción o no, así como el ciclo
completo de su desarrollo, deberían, más que eso, facilitar aprendizajes y
entendimientos compartidos críticos sobre qué es la tecnología y cuáles
son su potencial, impactos y las dinámicas de poder detrás de ella.

Buscamos construir tecnologías que sirvan al bien común. Estamos
convencidas de que, como cualquier otro desarrollo sociotécnico, un
sistema de lA por sí solo no puede generar transformaciones positivas.
Nuestra propuesta se enfoca en transformar las prácticas en torno al diseño
y desarrollo de sistemas de lA para incorporar los conocimientos,
perspectivas e inquietudes de quienes los utilizarán o estarán sujetos a
ellos. También intenta fomentar un entorno de trabajo abierto y colaborativo
de diálogo permanente, donde sea posible hacer frente a los riesgos,

oportunidades y conflictos inmersos en los sistemas de lA.

Inteligencia Artificial Feminista
1 48 Hacia una agenda de investigación en América Latina y el Caribe

Hacia un marco feminista para el desarrollo de la lA:
de los principios a la práctica

Próximos pasos

En la etapa de creación de prototipos, continuaremos trabajando en
las fases de desarrollo e implementación de lA de la guía, así como
refinando el proceso de diseño inicial. Realizaremos una reunión de diseño
participativo (tipo hackatón), basada en un proyecto concreto de lA feminis-
ta, para discutir cómo implementar la guía. Junto con las participantes de la
primera etapa de esta iniciativa, así como el grupo de personas
involucradas en este proyecto feminista de lA, revisaremos críticamente la
guía y la complementaremos con los aprendizajes que surjan de las
características particulares del flujo de trabajo de desarrollo de lA. Como
resultado tendremos una segunda versión de la guía práctica, así como
insumos para seguir trabajando en propuestas feministas para auditar y

desarrollar evaluaciones de impacto de sistemas algorítmicos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 49

Diagnóstico y mitigación de

sesgos desde América Latina

sobre procesamiento de

lenguaje natural (PLN) Laura Ación

Laura Alonso Alemany
Luciana Benotti

Matías Bordone

Beatriz Busaniche Lucía
González

Alexia Halvorsen

Fundación Vía Libre
Argentina

Los modelos de aprendizaje automático y los sistemas basados en datos se
utilizan cada vez más para asistir procesos de toma de decisiones. El ob-
jetivo de este proyecto es adaptar y disponibilizar herramientas para la de-
tección, diagnóstico, prevención y mitigación de sesgos en aplicaciones de
tratamiento automático del lenguaje humano, enfocado en las necesidades
específicas de la región latinoamericana.

En particular nos enfocaremos en el análisis de los llamados word
embeddings. Estas son técnicas de procesamiento de lenguaje natural de
amplio uso que, de forma totalmente automática, representan el significado
de palabras a partir de su uso en grandes cantidades de texto. Esta técnica
se utiliza para desarrollar aplicaciones como el auto-completado de textos o

la traducción automática. El problema radica en que estos word

Inteligencia Artificial Feminista
1 50 Hacia una agenda de investigación en América Latina y el Caribe

Diagnóstico y mitigación de sesgos desde América Latina
sobre procesamiento de lenguaje natural (PLN)

embeddings se obtienen a partir de textos que tienen sesgos y prejuicios
subyacentes, que de esta forma se trasladan a las aplicaciones. Pero como
estos embeddings son artefactos complejos y opacos, resulta muy difícil
detectar esos sesgos.

Mediante este proyecto disponibilizaremos técnicas y herramientas
para analizar sesgos de word embeddings y mitigarlos, con un foco espe-
cial en el español de la Argentina y latinoamericano. Pondremos énfasis en
sesgos basados en género, contra migrantes, aporofobia, capacitismo y la
marginación de comunidades históricamente desaventajadas. Un contexto
que difiere sensiblemente al de estudios y trabajos similares realizados en
países del norte global. Las herramientas desarrolladas en el marco de este
proyecto integral facilitarán a personas sin conocimientos técnicos previos
el uso de tecnologías desarrolladas en instituciones académicas del norte
global.

De esta forma, buscaremos reducir la barrera tecnológica para que
especialistas de la región de ámbitos como la sociología, trabajo social,
economía, comunicación, referentes de distintas comunidades, educación,
etc., puedan incidir con sus conocimientos específicos en estos artefactos

tecnológicos tan centrales en Inteligencia Artificial.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 5 1

Feminismos en inteligencia
artificial:
herramientas de automatización

hacia una reforma judicial feminista Ivana Feldfeber

Yasmín Quiroga

Data Género

Argentina

Clarissa Guevara
Tecnológico de Monterrey
México

Marianela Ciolfi Felice

KTH Royal Institute of Technology
Suecia

en Argentina y México

La falta de transparencia en el tratamiento judicial de la violencia de género
(GBV) contra mujeres y personas LGBTIQ+ en América Latina resulta en
bajos niveles de denuncia, desconfianza en el sistema judicial y, por ende,
reducido acceso a la justicia. Para abordar este problema apremiante antes
de que los casos de GBV se conviertan en feminicidios, proponemos abrir
los datos de las sentencias judiciales como un paso hacia una reforma judi-
cial feminista. Identificamos el potencial de los modelos de inteligencia arti-
ficial (IA) para generar y mantener conjuntos de datos anónimos para
comprender la violencia de género, respaldar la formulación de políticas e

impulsar aún más las campañas de los colectivos feministas.

Inteligencia Artificial Feminista
1 52 Hacia una agenda de investigación en América Latina y el Caribe

Feminismos en inteligencia artificial:
herramientas de automatización hacia una reforma judicial feminista en Argentina y México

Las autoras de este artículo son cuatro mujeres latinoamericanas
que se autoidentifican como feministas interseccionales, radicadas en el
Sur Global (Argentina y México) y en el Norte Global (Suecia), realizando
tareas laborales y voluntarias en una variedad de contextos (educación, in-
vestigación y ONG, principalmente DataGénero). Encontramos inspiración
en las ideas de gobierno abierto y, en particular, de justicia abierta. Nuestro
enfoque de la ciencia de datos está influenciado por el Feminismo de datos
propuesto por D'lgnazio y Klein en 2020, que plantea pensar sobre los da-
tos, sus usos y límites, guiados por la experiencia directa y por un compro-
miso con la acción y con el feminismo interseccional. Nuestra posición con
respecto al uso de la |A en temas sociales es anti-solucionista, es decir, con
este proyecto no esperamos que las herramientas basadas en lA "resuel-
van" el problema de la violencia de género, dado que esto, además de ser
éticamente irresponsable, no sería factible y porque creemos que los pro-
blemas sociales requieren soluciones sociales.

En este proyecto se propone la creación de un prototipo denominado
AymurAl -en referencia al vocablo quechua aymuray o aymoray, cuyo sig-
nificado se relaciona con las épocas de cosecha-, para uso en los juzgados
penales de CABA y de México. Este prototipo empleará técnicas de lA para
automatizar parcialmente la publicación y el mantenimiento de datos abier-
tos del poder judicial en casos de GBV. Nuestra propuesta es generar una
herramienta que pueda identificar fácilmente la información relevante en un
documento de texto y extraerla como un conjunto de datos estructurado.
Uno de los principales desafíos cuando se trabaja con documentos de texto

es convertir información no estructurada en un conjunto de datos estructu-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 53

Feminismos en inteligencia artificial:
herramientas de automatización hacia una reforma judicial feminista en Argentina y México

rados, dado que esta tarea puede consumir mucho tiempo si se realiza
manualmente. A pesar de que esta funcionalidad aparentemente está
disponible en línea, estamos convencidas de que producir nuestras propias
herramientas es el mejor camino, ya que estos sitios web suelen ser servi-
cios pagos, pueden dejar de funcionar sin previo aviso, carecen de políticas
claras de protección de datos o seguridad, y creemos que en el contexto
latinoamericano es importante evitar depender de empresas privadas a la
hora de crear tecnología. Nuestro objetivo es que AymurAl pueda ser utili-
zado por cualquier persona del juzgado penal cuya tarea sea llevar un re-
gistro de las sentencias judiciales firmadas por un juez.

Abordaremos nuestras preguntas de investigación con un espíritu
exploratorio, iterativo y centrado en las usuarias (aprovechando y priorizan-
do el conocimiento del personal judicial penal y de las organizaciones femi-
nistas locales que trabajan con datos de justicia), con una sólida presencia
de cuestionamientos éticos a lo largo de todo el diseño y proceso de desa-
rrollo. Nuestros próximos pasos incluyen decidir qué herramientas de lA
son mejores para nosotras, comenzar el desarrollo de AymurAl y la poste-
rior implementación de nuestra herramienta en el Juzgado Penal N* 10 de

la Ciudad de Buenos Aires.

Inteligencia Artificial Feminista
1 54 Hacia una agenda de investigación en América Latina y el Caribe

___ _ Visiones desde los sures

La lengua como territorio
cognitivo y su relación con
concepciones tecnológicasl?!!

Yásnaya Elena Aguilar

Colmix
México

La charla se titula “Lenguas como territorios cognitivos y nuevas
tecnologías”. Quisiera poner antes en contexto, una de las cosas en las que
me he involucrado ha sido en la diversidad lingúística, la lucha por los
derechos lingúísticos, lo ya conocido. Pero en ese camino nos fuimos
encontrando con un proceso que tenía que ver con cómo este tema
también se estaba reflejando en las plataformas digitales. Tanto en internet,
en las redes sociales, pero también en otro tipo de desarrollo, de apps y de
software. Nos empezamos a dar cuenta de que había cada vez más perso-
nas de pueblos indígenas que estaban trabajando en esto y empezamos

ahí un proceso. Pero hay muchas cosas que me inquietan sobre ese

[611 Esta ponencia magistral fue presentada en línea por la investigadora mixe Yásnaya Elena Aguilar Gil
durante el Primer Encuentro Regional del hub de América Latina y el Caribe de la Red Feminista de
Investigación en Inteligencia Artificial, f<a+i>r, realizado en marzo de 2022. La sesión fue moderada por
Paola Ricaurte, líder del hub América Latina y el Caribe de la red f<a+i>r. La grabación de la conferencia
está disponible en: https://youtu.be/fsy1sFijpqsO (N. de las E.)

Inteligencia Artificial Feminista
1 56 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

proceso y que me hacen plantear varios asuntos, tanto éticos como filosófi-
cos, y también de tipo linguístico. Esa es un poco mi experiencia con este
tipo de procesos.

Voy a empezar dando un breve contexto para que todas partamos del
mismo piso sobre diversidad linguística actual y lenguas indígenas. Es decir,
¿de qué hablamos cuando hablamos de lenguas indígenas? Lamentablemen-
te, por las políticas públicas y por una serie de cuestiones políticas y sociales,
es muy común que no sepamos sobre la existencia de las lenguas distintas a
las que utilizan los Estados. Yo misma me enteré ya bastante grande de que
en Francia, antes del establecimiento del francés, se hablaban más de 10
lenguas. Son cosas que nunca pensaríamos, que en esa Francia europea,
continental, en un Estado tan ejemplar de la construcción de un Estado en
Occidente, no se hablara de esa diversidad. Entonces hay una especie de
censura sistemática que hace que, por ejemplo, en México, suceda algo que
no me parece nada lógico ni común, el hecho de que las personas en pro-
medio no sepan cuántas lenguas se hablan en su paísl$21. Ese sería un dato
básico, pero hay una especie de censura muy estructural. Por esa razón es
que necesitamos este contexto. De ser una información compartida, no lo
necesitaríamos y podríamos irnos directamente a otro punto. Trataré de ser

breve para que podamos ir a las otras reflexiones.

[62] En México hay 68 lenguas indígenas, de acuerdo con el catálogo “Variantes lingúísticas de México con sus autodenominaciones y
referencias geoestadísticas”, publicado por el Instituto Nacional de Lenguas Indígenas. (INALI) Además de en español, el catálogo está
disponible en cho'l de Chiapas, en mexicano del centro alto, en mixteco del oeste de la costa y en náhuatl de la
Huasteca.www.inali.gob.mx/clin-inali/index_mexicano_centro.html (N. de las E.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 57

158

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Figura 1
Mapa “Idiomas del Mundo”

LANGUAGES OF THE WORLD

EACH DOT REPRESENTS THE PRIMARY LOCATION
OF A LIVING LANGUAGE LISTED IN THE ETHNOLOGUE

|e2004 SIL

Adaptado de: Mapa Idiomas del mundo (reproducción Ethnologue)!631
En general tenemos un contexto en el que las lenguas indígenas en
el mundo se encuentran dentro de una diversidad linguística bastante
grande. Este mapa (Figura 1) es un mapa bastante conocido de

Ethnologue, que es un catálogo de lenguas en el mundo. Y hay una cosa

[63] Cada punto representa la ubicación principal de un idioma vivo enumerado en Ethnologue. Fuente: Gordon, Raymond G. Jr. (ed.),
2005. Ethnologue: Languages of the World, Decimoquinta edición. Dallas, Texas: SIL International.) Versión en línea en
http://www.ethnologue.com: [1] (octubre de 2006).

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

muy interesante y es que aun cuando la humanidad comparte muchas ca-
racterísticas en cuanto a sus sistemas de comunicación, también hay una
gran diversidad. Hay una diversidad alucinante de lenguas, no es que sólo
haya una lengua para toda la humanidad. Siempre es interesante saber por
qué fue así, porque hay tantas. Claro, esto ha ido cambiando, y su distribu-
ción ha sido afectada por muchas razones, ya que es algo que acompaña
profundamente a la humanidad, pero actualmente existen entre 6500 y
7000 lenguas en el mundo. Contar el número de lenguas no es una tarea
muy fácil. Si me vuelven a invitar, luego les digo por qué exactamente
contar lenguas y saber exactamente cuántas hay, aunque lo parezca, no es
nada fácil. Por esto decimos que son entre 6500 y 7000 lenguas en el
mundo. Hay gente que dice que son diez mil y gente que dice que son seis
mil, pero ese es más o menos el rango. Y actualmente, estas lenguas están
distribuidas en el mundo así, como se ve en el mapa (Figura 1).

A mí me gusta mucho este mapa porque muestra cómo en la
actualidad —no siempre fue así— los países del Norte Global tienen poca
diversidad. Como podemos ver, la diversidad linguística se está concen-
trando hacia el Ecuador. Si pensamos en el planeta como una esfera, yo
siempre digo que está en su pancita, en medio de su pancita. Lo pueden
ver, más o menos esta línea que recorre ahorita desde Oaxaca,
Mesoamérica, hacia el área donde estoy, que se ve súper roja, nos vamos
hacia África y luego Oceanía y es como una franja donde está gran parte
de esa diversidad. También hay una relación que siempre repito y que es-
pero algún día poder hacer una tesis de doctorado, si la vida me da, sobre

si es una relación causal o no, o por qué los lugares del mundo con mayor

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 59

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

diversidad de lenguas también tienen mayor diversidad de especies bioló-
gicas. Eso es increíble. Es decir, en la lista de países con más diversidad o
más número de lenguas, también hay mucha diversidad de especies
biológicas. ¿Es una relación causal o no? No lo sé, pero existe, o sea el
dato está ahí. Y también en esta época del capitalismo tardío, no sorprende
entonces que también las especies biológicas, junto con la diversidad
lingúística, estén tan amenazadas.

Entonces estos son esos países y esa es la distribución de las len-
guas del mundo en la actualidad. Sin embargo, empezó a suceder algo,
que tiene que ver con la construcción de los Estados, que en los últimos
300 años cambió la proporción de hablantes. Antes era muy normal tener
en un solo imperio mucha diversidad de lenguas y muchas lenguas que
ahora consideramos indígenas tenían muchísimos hablantes. Esa propor-
ción se ha visto modificada de tal manera que ahora el noventa y seis por
ciento de la población mundial habla el cuatro por ciento de las lenguas del
mundo, mientras que el cuatro por ciento de la población del mundo habla
el 96 por ciento de las lenguas del mundo. ¿Esto qué significa? Esto va a
tener consecuencias políticas y sociales. En general, esas poblaciones han
sido minorizadas. No eran minoritarias, sino que han sido minorizadas, y
por lo tanto van a estar encapsuladas dentro de otras estructuras sociopolí-
ticas y luego van a tener poco poder de libre determinación y de autonomía.
No van a tener un poder político para tomar determinación sobre sus terri-
torios, sobre sus políticas sociales, educativas, etcétera. Esta proporción
actual no es la proporción que siempre había habido. Por lo tanto, hay que

decir que la diversidad linguística está depositada en la población que ha

Inteligencia Artificial Feminista
1 60 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

estado siendo oprimida sistemáticamente. No es al revés. No es que los
países ricos sean ricos en diversidad linguística, está sucediendo lo contra-
rio.

Pero insisto, esa proporción no siempre fue así. Hubo una coacción
muy clara para que esta sea hoy sea la proporción. Y esto ha llevado a una
situación en la que, según un catálogo, ustedes lo pueden buscar en Inter-
net, está en inglés, se llama “Endangered Languages Catalog”, de la Uni-
versidad de Hawaiiló“ que es una especie de observatorio, cada tres
meses muere una lengua en el mundo. Y parece que eso se está incre-
mentando, ese dato es de 2014, si no me equivoco, la tasa está por actua-
lizarse. Lo que sí sabemos es que eso se está perdiendo muy rápidamente.
Y bueno, esto sí ya es casi un lugar común: en menos de cien años, aún en
este siglo, la mitad de las lenguas del mundo habrá desaparecido. Es un
lingúicidio que nunca había sucedido con anterioridad. Y esto mucha gente
lo atañe a la globalización. Y ahí es donde las tecnologías digitales, las re-
des sociales y todo esto, esto que nos permite estar hablando ahorita, se ve
como una amenaza. Sin embargo, yo no estoy de acuerdo. No creo que
sólo sea la misma existencia de estas nuevas tecnologías, sino más bien
que eso tiene que ver con otro tipo de procesos a los que me voy a referir

más adelante.

[64] http://ling.hawaii.edu/research-current/projects/elcat/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 6 1

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Ya vimos aquí qué bonita diversidad. Hay un montón de lenguas.
Todas son iguales científicamente hablando, pues todas tienen componen-
tes sintácticos, fonológicos, igual de complejos. Todas las lenguas. No le
falta nada a ninguna. Todas tienen lo que un sistema de comunicación hu-
mano debe tener, que ha tenido siempre. Fonologías complejas y comple-
tas, sistemas sintácticos, semánticos, léxicos. Todas son iguales,
comparativamente hablando. Tendrán diferencias en cuanto a que en cada
lengua dices una cosa de una manera, pero todas tienen palabras y todas
sirven igual para la comunicación. Es decir, no hay una lengua que sea
mejor para comunicar que otra. El hecho de que una lengua se elija como
lengua franca o lengua vehicular, que comunica diferentes lenguas, es un
asunto más bien social, por eso va cambiando. Antes fue el latín, luego fue
el francés, ahora es el inglés y el chino mandarín ya viene pronto. Pero eso
no tiene nada que ver con su complejidad, no hay lenguas más útiles a la
comunicación que otras. Nos tocan las que nos tocan, una o dos o tres, por
razones geográficas, sociales.

De toda esta gran diversidad, algunas lenguas han sido catalogadas
como lenguas indígenas y otras no. La gran pregunta es: ¿qué hace que
una lengua sea indígena y otra no? Esto parece una pregunta muy obvia,
pero no lo es en absoluto, como lo vamos a ver. Por ejemplo, hay una len-
gua indígena que se llama sami, que se habla en Noruega, en Rusia, en
Suecia y en Finlandia. Y esta lengua es hermana de la lengua que se habla
en Finlandia, o sea, del finlandés o finés. Lo que a mí me impresionó mu-
cho es que son lenguas hermanas, muy cercanas, como el español y el ita-

liano, pero el sami es considerado una lengua indígena y el finlandés, no.

Inteligencia Artificial Feminista
1 62 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Entonces mi pregunta era, si vienen de una misma raíz, ¿por qué una es
lengua indígena y la otra no? Es como si la hermana de mi lengua materna
mixe, que es el soke, fuera catalogada como no indígena y el mixe, sí. En-
tonces mi pregunta era ¿por qué? Una posibilidad tiene que ver con una
solución aparentemente fácil, que sea por el número de hablantes, ¿no? Y
bueno, no necesariamente. No hay hablantes vivos de latín. El latín que
conocemos, ese que escuchamos en las misas, bueno, quienes hayan es-
cuchado misa, o ese que hablaba Séneca, ya nadie lo habla. Ya nadie lo ha
adquirido. Una lengua viva es aquella que está siendo adquirida por la po-
blación infantil y hoy nadie lo está haciendo, nadie está adquiriendo el latin
como primera lengua, como lengua materna, por lo que esa es una lengua
muerta. Tiene un número de hablantes no orgánicos y no por eso es una
lengua indígena, y no por eso sufre discriminación. Es decir, yo puedo sa-
car en un cajero en el Vaticano, un cajero que me va a dar el servicio en
latín, pero en mixe, que sí, es una lengua viva, no. Así que eso tiene que
ver con otras situaciones. El caso del danés también o del yoruba, que es
una lengua indígena que se habla en el centro de África. El yoruba tiene
cuatro veces más hablantes que el danés, el danés tiene muy poquito en
comparación, pero el danés no es una lengua indígena y el yoruba sí. Yo-
ruba está perdiendo hablantes, los derechos lingúísticos de sus hablantes
están siendo amenazados, pero el danés, no. Tampoco hay un desprecio
interiorizado. No hay familias danesas que digan “por fin aprendí inglés,
debo olvidar esta horrible lengua que es el danés”. Eso no sucede. ¿Por
qué con las lenguas indígenas sí? Muchas tenemos más hablantes que el

danés o el sueco o el noruego, por ejemplo. Si no tiene que ver con el nú-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 63

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

mero de hablantes, ¿qué es lo que hace que una lengua indígena o no? Y
por lo tanto, que pueda tener una representación en internet, por ejemplo,
distinta a otras.

Vamos a hacer una pequeña trampa y pensar que una lengua indí-
gena es la que habla un pueblo indígena, parece obvio ¿no? Pero la pre-
gunta sigue ahí, ¿qué hace que un pueblo sea indígena y otro no? ¿Qué
hace que el pueblo yoruba sea un pueblo indígena pero el pueblo danés,
no? O que los finlandeses no sean indígenas, pero los sami, sí, aunque ha-
blan lenguas muy semejantes. En este continente, claro, eso está muy re-
lacionado con la historia colonial. Y con la racialización de lo indígena.
Sabemos que las razas biológicamente no existen, que hay un proceso de
racionalización, es decir, de creer que cierto segmento de la población es
una raza. Esa es la racialización con base en ciertas características. Bueno,
para la nación sami, toda esa racialización del color de la piel choca un po-
co, porque la nación es un pueblo indígena, pero todo lo que entendemos
sobre el color de la piel es muy diferente. Son personas muy, muy blancas,
pero son indígenas. Entonces la pregunta otra vez es qué compartimos.
¿Yo qué comparto con mujeres sami? En la Figura 2 están en una mani-
festación en una ciudad de Noruega porque están luchando también por su

territorio.

Inteligencia Artificial Feminista
1 64 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Figura 2

Samis protestando.

Adaptado de: reproducción (Ókologix/Wikipedia)

Yo no conozco la nieve, nunca he visto la nieve en mi vida, pero este
pueblo vive en medio de la nieve. Empecé a sentir entonces que, cultural-
mente, yo tengo más en común con una persona no indígena del Valle de
Oaxaca que con los sami, que son indígenas. Así que no es un asunto, o
una categoría, cultural. ¿Y qué tenía que ver con la nación mixe? Nos en-
canta el basquetbol, en la sierra. ¿Y qué tenía que ver aun así con la na-
ción Ainu? Esta es una foto de los ainu, que son un pueblo indígena en

Japón. (Figura 3)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 65

166

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Figura 3

Pueblo ainu protesta en Japón.

EAN SB) 7 RA

Adaptado de: Lewallen, A. E. (2008) Indigenous at last! Ainu Grassroots Organizing and the Indi-
genous Peoples Summit in Ainu Mosir" The Asia-Pacific Journal, Vol. 48-6-08, November 30, 2008

Aquí están en una manifestación que dice “We want the indigenous
rights”!$51, Y hay pueblos y naciones indígenas en China, en Estados Uni-
dos, en Brasil, por supuesto. En Argentina también, en Chile también. Hay

pueblos indígenas en todo el mundo. Mi pregunta es, ¿qué lo sostiene?

[651 “Queremos los derechos indígenas.” (N. de las E.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

¿Por qué una persona mapuche en Chile, una persona ainu en Japón, una
persona sami en Noruega y yo, en Oaxaca, somos indígenas? ¿Qué nos
une?

Para mí es un asunto que tiene que ver más bien con un tema políti-
co. Lo que compartimos son dos características. Somos pueblos que su-
frieron un tipo de colonialismo antes de que se formaran los países. Pero
no sólo eso, porque en África hay pueblos que sufrieron colonialismo euro-
peo, pero que al convertirse en países dejaron de ser considerados indíge-
nas. Así que también hay que cumplir con el siguiente requisito: ser pueblos
que no conformaron un estado nación y quedaron encapsulados dentro de
alguno. Y eso es muy, muy importante. El hecho de que el mundo esté di-
vidido en un poco más de doscientos países en la actualidad, de que haya
doscientas fronteras, doscientas banderas, doscientos himnos, es algo
muy, muy nuevo en la humanidad. El hecho de que yo necesite un pasa-
porte no tiene ni 300 años, eso es muy poquito en la historia de la humani-
dad. Y estas entidades que se llaman países no se hicieron con base en
fronteras culturales, sino por asuntos de poder. Y controlaron muy bien
ciertas fronteras y crearon discursos, como si ser mexicano, por ejemplo,
fuera una categoría cultural. Y tampoco lo es. Es un estatus legal, significa
que tú estás regido bajo este conjunto de leyes. Eso es lo único que com-
partimos todas las personas mexicanas. Entonces, al crear eso, había algo
que les estorbaba. No bastaba con decir pues está la ley porque sí, sino
que tenían que decir qué tenemos un pasado común, una lengua común,
un todo en común. Y entonces empezaron a combatir cualquier otra identi-

dad que no fuera la que promovía el Estado. Así que eso es lo que com-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 67

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

partimos los pueblos indígenas. Por eso, como no hay un país sami, como
no se conformó un Estado, el pueblo sami es un pueblo indígena. Finlandia
no, porque si lo conformó. Los yoruba podrán ser muchísimos, pero como
de sus territorios quedaron desplazados en varios países, entonces son un
pueblo indígena. Los daneses de Dinamarca, no. ¿Por qué? Porque por
muy pequeños y poquitos que sean, hicieron su país aparte, independien-
tes. Entonces es un asunto de poder. Por lo tanto, una lengua indígena es
una categoría política. Es decir, son las lenguas que hablan estos pueblos
que no tienen un Estado independiente.

Por esta razón, yo me peleo mucho con el hecho de que lo indígena
se vea como algo esencial. O sea, yo esencialmente no soy indígena, estoy
en esa condición política. Entonces, como dice el historiador Sebastian van
Doesburg, si arbitrariamente fijamos el comienzo de los pueblos mesoame-
ricanos con la domesticación del maíz, llevaríamos unos 9000 años siendo
zapotecos, de los cuales 500, indios, y 200, indígenas, porque eso es lo
que se empezó a usar con el establecimiento del Estado. Entonces, es una
condición histórica y eso nos permite pensar en un futuro donde podamos
seguir siendo mixes sin ser indígenas, que haya desaparecido esa cate-
goría que viene de una opresión. Por lo tanto, esa es una categoría muy
política. Son lenguas que hablan pueblos o naciones que no formaron Es-
tados, que no son utilizadas ni reivindicadas por un Estado. El finlandés, sí,
el finés, lo usa el estado de Finlandia para la educación, para todo. Pero el
sami no, los niños y las niñas sami tuvieron que ir a escuelas para que obli-
gadamente aprendieran un noruego, finés o sueco y les negaron hablar su

lengua. Lo que esos estados han hecho es que si tú no hablas la lengua del

Inteligencia Artificial Feminista
1 68 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Estado, te vamos a hacer todo para que te olvides de tu lengua, violando
tus derechos humanos y tus derechos linguísticos. Parafraseando al
linguista alemán Max Weinreich, esas son lenguas sin ejército ni marina, es
lo único que compartimos.

En el caso de México, son lenguas que descienden de las que se
hablaban cuando llegó Cortés y que han sido discriminadas y combatidas
activamente por el Estado. Esa es una característica muy interesante. Y
bueno, no es casual que esto suceda después de la conformación de los
Estados-nación. Si pensamos que hay seis mil quinientas lenguas en el
mundo y sólo doscientos países, y cada país eligió una lengua, eso quiere
decir que hay seis mil trescientas lenguas que están siendo combatidas por
el Estado y que sólo doscientas se usan desde el poder. Y no sólo es que
hayan elegido una para usar el poder, sino que además les molesta que
existan más. Eso es bien interesante:el modelo de país está bien obsesio-
nado con el monolinguismo. Les encanta eso. La premisa de los países es
el monolingúuismo. Y esto se está empezando a reflejar también en las pla-
taformas digitales. Además, en este continente en el que estoy, la mayoría
de los Estados, de los países, eligieron sólo una lengua. Y ni siquiera son
doscientas, ya que no es que cada uno haya elegido a uno más, en Perú, el
quechua, en México, el náhuatl, y en Guatemala, el kagchikel. No. La ma-
yoría decidió elegir el español, así que ya son menos. Así que, por ejemplo,
en México, hay una monolinguización progresiva y diseñada. Aquí tenemos
un mapa del monolingúismo en México (Figura 4) que está elaborado por

Julio César Gallardo, del colectivo al que pertenezco, Colmix.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 69

170

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Figura 4

El monolingúismo en México

EL MONOLINGÚISMO EN MÉXICO

PENJATY TU'UKYI JA AYUUJK KYAJPXTEP

POBLACIÓN
MONOLINGÚE POR
MUNICIPIO

[Joa20%

O 20a40x%
E] 40 a 60%
MA 60 asox
MM so a 100%

OAXACA HA

Elaboración propia con base en el Censo de Población y Vivienda 2010, INEGI.

Reproducción: Julio Cesar Gallardo/COLMIX

Entre más claro es el color, menos monolingúismo hay. Como pode-
mos ver, son los pueblos indígenas los que tienen a México no tan mal en
la lista del multilingúismo. Pero en realidad la mayoría de la población es
monolingue, porque la existencia de la enseñanza del inglés también es un
fracaso. Puedes pasarte doce años en la escuela básica con clases de
inglés y no aprender y claramente el problema no es de los estudiantes.

Son demasiadas horas estudiando inglés sin que podamos aprenderlo, hay

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

un problema en su didáctica estructuralmente. Entonces, tampoco el inglés.
Así que de ser un territorio rico, con sociedades multilingúes, como se ha
visto que había, México está pasando a ser monolingúe, con muchas con-
secuencias. Porque además cognitivamente hay muchas ventajas de ser
bilingue o trilingúe. Es algo que es natural en las sociedades, el cerebro
humano no dice “oye, ¿quieres aprender este inglés? Desinstala tu mixe,
que ocupa espacio en tu cerebro”. Se crea una falsa disyuntiva entre el
inglés y las lenguas indígenas. El cerebro no es así. El cerebro dice: “pues
las que quieras”. De hecho, hay un límite, en realidad por memoria, no por
capacidad. Por eso hay personas que hablan muchas lenguas. El cerebro
humano lo puede hacer, nada lo imposibilita.

Así es que se ha creado ese monolingúismo y estamos viendo todos
los problemas de eso. En 1820, después de 300 años de colonialismo eu-
ropeo, el 70 por ciento de la población hablaba una lengua indígena, el 70
por ciento en este territorio. Una sociedad bastante multilingúe, en donde el
náhuatl, sobre todo, era la lengua franca. Pero las lenguas francas no han
atentado en contra las demás, no es el hecho que el inglés sea la lengua
que comunique con mucha gente lo que automáticamente hace que las
otras lenguas desaparezcan. El latín jamás atentó contra las demás. Nunca
vimos tanta muerte de lenguas porque el latín fuera la lengua franca, ni por
el francés o por el hecho de que el náhuatl fuera la lengua franca en este
territorio, eso no implicó la muerte de las otras. Por eso no creo que sea por
la globalización. Las personas en Dinamarca aprenden danés y también
aprenden inglés, sin ningún problema. Podríamos perfectamente hablar de

mixe y zapoteco y español e inglés.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 7 1

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Como vemos, el Estado se empeñó sobre todo mediante políticas
contra la población infantil. Y yo creo que sí es muy importante decirlo, fue-
ron casos de tortura física. Todavía en 2015 hubo reportes de una escuela
en Oaxaca donde a los niños los mandaban a limpiar las letrinas cada vez
que hablaban en su lengua. Y con una serie de otros castigos en los que no
me voy a detener acá, pero que violaron los derechos humanos, de la po-
blación infantil sobre todo, pero de muchas personas. Y eso sigue pasando.

Entonces en 200 años sucedió esto: en 1820, tenemos el 70% de la
población que habla una lengua indígena y en el 2020, el 6.1%. El descen-
so de 2010 a 2020 fue dramático. De verdad que ni quería ver los resulta-
dos del Censo 2020. Estaba muy temerosa porque yo sabía que algo
estaba pasando, pero fue catastrófico. Fue muchísimo más de lo que está-
bamos calculando que iba a suceder. Hubo lenguas que perdieron en diez
años el 20% de su población hablante y una muy cercana al 30% también.
Esa es la situación en la actualidad.

Pensando que las lenguas son territorios cognitivos, aquí quisiera
decir algo que parece provocador, pero es para poder dar pie a otro tipo de
reflexión. La provocación es decir que la lengua no es cultura. Me vas a
decir, ¿cómo que la lengua no es cultura? Sí, la lengua es algo de toda cul-
tura. El problema es que en español, en inglés no, pero en español, la pa-
labra cultura tiene dos significados grandes. Una es una definición
antropológica, en donde todo es cultura. El hecho de decir que hay eleccio-
nes democráticas y que hay un Instituto Nacional Electoral, eso sería cultu-
ra política. La cultura occidental en un sentido antropológico. Sin embargo,
también en México, en español, hay una definición de cultura como mani-

festación estética o artística. Entonces tenemos ministerios de cultura o se-

Inteligencia Artificial Feminista
1 72 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

cretarías de cultura. La provocación de que la lengua no es cultura va en el
sentido de que la lengua no es un rasgo artístico. No debería estar en los
ministerios de cultura. ¿Por qué? Porque la lengua, a diferencia de la dan-
za, por ejemplo, o de la música de los pueblos indígenas, no es un evento.
No quiere decir que no son importantes, las danzas son fundamentales, la
música también. Pero no todo el tiempo estamos danzando. La danza tra-
dicional tiene un momento en que sucede. La música, la podemos escuchar
o ejecutar, tiene su momento. La comida también, hay un momento para
comer. También los textiles, hay un momento para hacerlos. Pero la lengua
no, no es “ya, tuve mi evento lingúístico y ya”. No. La lengua nos atraviesa
totalmente, nos atraviesa desde que amanecemos y pensamos “híjole, ya
se me hizo tarde, no debí apagar ese despertador”. Eso sucede en una
lengua. Después vengo y doy esta charla y en esa charla estoy usando una
lengua. Y el hecho de que estoy usando español y no náhuatl tiene un tras-
fondo político. Pudo haber sido que ahorita estuviéramos hablando en
náhuatl, y el hecho de que hablemos en español y no en náhuatl o en mixe
tiene consecuencias y tiene una explicación. Y aún más, yo puedo pelear-
me con mi novio, regañar a mi gato y voy a usar una lengua. Puedo callar-
me y estar pensando “qué aburrida presentación” y lo voy a hacer en una
lengua, mi pensamiento lo va a vincular a una lengua. Puedo incluso no
estar hablando y la lengua está presente. Es más, puede incluso ser un
fenómeno involuntario. Podría dormir y soñar y voy a soñar en una lengua,
las personas de mis sueños van a estar hablando en cierta lengua. Y eso
quiere decir que, incluso más allá de mi voluntad, lo linguístico empapa to-
do. No sólo es un instrumento de comunicación, sino de pensar, o sea, de

ser humanidad. El racismo, claro, hace que despreciemos nuestros textiles,

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 73

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

nuestras danzas, nuestro ser, eso se desprecia, se ve racializado, se ve
mal. Pero en la lengua nos estamos metiendo con el instrumento cognitivo
con el que estamos construyendo las sociedades en las que estamos. Y
también el pensamiento. La lengua es un vehículo también para aprender
del mundo. Cuando a mí me enseñen por fin a programar un código de
programación, la persona que va a estar hablando ahí lo va a hacer en una
lengua. No hay manera de escapar a lo linguístico, nos hace profundamen-

te humanas, nos atraviesa.

Territorios cognitivos despojados

Por lo tanto, despojar violentamente de ese instrumento de pensa-
miento es algo muy violento. Es como si cada vez que quisieras expresar
un pensamiento en tu lengua, yo te golpeara, eso es lo que sucedió con la
población infantil. Y además, quisiera que te expresaras en una lengua en
la que apenas estás aprendiendo. En esos procesos de desplazamiento
hay problemas cognitivos serios. Porque no puedes expresarte con todos
los mecanismos léxicos, semánticos, cognitivos en tu lengua, pero tampoco
has alcanzado a agarrar las de la lengua que te están imponiendo.

Entonces hay una relación muy fuerte entre la autonomía, el territorio
y la lengua. El sistema educativo que está en español, el sistema judicial
también. Hay un montón de personas en la cárcel que no se han enterado
de qué van sus juicios porque no tienen intérpretes. Hay amigas mías que
han sufrido en los hospitales violencia obstétrica de la peor, porque no ha-

blan su lengua y no les facilitan un intérprete. Y ahí se te va la vida. En el

Inteligencia Artificial Feminista
1 74 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

judicial se te puede ir la libertad. En todas las áreas, están empujando a
que no podamos vehicular nuestro pensamiento ni nuestra comunicación
en nuestras lenguas. Entonces, entre mayor autonomía hay para un pueblo
indígena, mayores posibilidades hay de que pueda fortalecer su lengua.
Lamentablemente, la respuesta del gobierno actual en México es terrible al
respecto, no hay mucho cambio. Hay un recorte presupuestal terrible en el
área. O sea, del Estado al parecer no va a venir la solución, va a seguir con
esta inercia, aunque ha cambiado en el discurso.

La violación sistemática de los derechos lingúísticos es el despojo de
un territorio cognitivo. Nuestras visiones de la naturaleza ante el cambio
climático, por ejemplo, nuestras maneras de clasificar las especies que
están en esos ecosistemas, nuestra relación con los bienes naturales como
el agua, etcétera, están atravesados por cómo los categorizamos en nues-
tra lengua. No es que se nos despoje solo de un aspecto, un rasgo de
nuestra cultura. No, la lengua vehicula todo eso. A diferencia de las danzas,
de la música, la lengua no necesita un espacio para para ocurrir. Más bien,
hace que ocurra todo lo demás. ¿Cómo puedo pensar mi territorio, cómo
puedo, o lo que sea, sin lengua? Es que simplemente dejas de ser se ser
parte de la humanidad, de la sociedad en la que eres. Pensarse sin lengua

es muy difícil.
¿Cómo podemos disociar la innovación tecnológica del
capitalismo?

Compartimos una visión amplia de la tecnología. Esto viene de una

tradición muy occidental, en donde se separó la naturaleza de la humani-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 Es

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

dad, es una vieja discusión en Occidente. Siempre se dice: “¿eso nació o
se hizo?” Lo que nace es de la naturaleza, lo que ya viene ahí. Y lo que se
hizo, es la sociedad, la humanidad. Y entonces hay una diferencia entre lo
silvestre y lo natural y la civilización y lo humano. Y esta división no funcio-
na para nada en muchos pueblos indígenas, no funciona para todas las na-
ciones del mundo. Es obvio que eso es muy occidental. Cuando tú ya
separaste a la naturaleza de la humanidad, ya no te sientes o te concibes
como un mamífero más, o unas mamiíferas más, del ecosistema en el que
estés, entonces ya puedes explotar la naturaleza. ¿Y cómo la vas a explo-
tar? Pues con técnica. La voy a explotar con técnica, la tecnología va a es-
tar al servicio de eso, y vamos “Wow, la humanidad es tan inventiva, tiene
tanta técnica”, y por lo tanto todas esas herramientas son tecnología.

Sin embargo, para otras culturas la tecnología va a ser mucho más
compleja. Esta relación no va con su ambiente. Va a estar mucho más ali-
neada con la diversidad. Por ejemplo, en la tradición de pensamiento mixe,
la milpa, que es un sistema cultivo bien complejo, que tiene un montón de
desarrollos adaptativos de miles de años, es un tipo de tecnología. Pero
sobre todo en la actualidad se ha hecho casi un sinónimo de hablar de tec-
nología y capitalismo. La tecnología además es algo muy celebratorio, a mí
también me gusta mucho, la innovación, la creación, que media entre las
sociedades y también entre nuestros entornos. Pero esa fascinación por
crear y pensar e innovar de la humanidad fue capturada por el capitalismo.
Entonces, de la tecnología de la que se habla generalmente, yo siempre di-

go “ah, no, esa es la tecnología capitalista”.

Inteligencia Artificial Feminista
1 76 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Pero existe tecnología fuera, por lo menos en las periferias del capi-
talismo. Si aceptamos que no hay vida fuera del capitalismo, podemos
aceptar que por lo menos hay espacios periféricos, como varios teóricos
han planteado. Por lo tanto, ¿cómo podemos disociar la creación tecnológi-
ca, la innovación tecnológica, del capitalismo?

Primero, se plantea como si antes del capitalismo y de la revolución
industrial no hubiera tecnología, cuando sabemos que en todo el devenir de
la humanidad siempre ha estado ahí. La escritura es una tecnología, el sis-
tema milpa es una tecnología, siempre ha habido tecnología. Ahora, el últi-
mo desarrollo tecnológico, desde la revolución industrial, que se está
acabando el planeta, ha configurado una tecnología que ha sido funcional
para poner a la humanidad en esta crisis en la que estamos con el cambio
climático. Además, estos equipos que tenemos acá necesitan de insumos
naturales, necesitan petróleo, plástico, tienen adentro minerales que están
siendo extraídos de ciertos territorios. Entonces no podemos disociar ese
desarrollo o no podemos hablar de la tecnología sin los sustentos, sin el
hardware. Y el hardware viene de algún lado. Por más que algo sea wire-
less, y por más que hoy día parezca que hay algo en el aire, que es el wifi,
que posibilita que hablemos, eso no es verdad. Hay unos servidores que
tiene Zoom y que seguramente necesitan enfriarse, y para eso necesitan
energía, y esa energía va a salir de algún lado, y necesitan cables. Todo
esto del Wireless es como una pantalla que está ahí, pero que sí está sus-
tentado en cosas tangibles. Y esas cosas tangibles están siendo extraídas
de cierto territorio, afectando la vida de ciertas personas, y además explo-

tando cierto tipo de cuerpos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 77

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Entonces, al recordarlo todo el tiempo, podemos empezar a decir si
es posible plantear otro tipo de tecnología y cómo podemos hacer para que
sea más justa. Cuando hablamos de esta relación, casi siempre en la con-
tra-argumentación, la gente sale con una falacia, que yo le llamo la falacia
ad iPhone. Así como hay ad hominem, esa es la ad iPhone, porque siempre
te terminan diciendo “sin el capitalismo y esta tecnología, tú no tendrías un
iPhone y no estarías ahí discutiendo desde fuera”. Bueno, yo no tengo un

iPhone, pero para el caso es lo mismo.

Conocimientos comunales

Lo que se ha visto es que esta natural curiosidad e impulso de inno-
vación que hay en la humanidad, que es la tecnología, que media, que de-
sarrolla instrumentos y que crea y media la relación entre los ambientes, los
ecosistemas, las personas y las sociedades, está siendo privatizada. Se
volvió mercancía. La milpa, que es una tecnología que les digo que tiene un
montón de de cosas desde hardware, es decir, tiene una serie de elemen-
tos que puedes tocar, también tiene una serie de conocimientos tecnológi-
cos, técnicas de cómo implementarlos para tener milpa, y que se opone a la
lógica del monocultivo. Existe esta manera de relacionarse con el territorio
a través de la milpa que no es de nadie. No tengo que pagarle una patente
a quien haya inventado la milpa para que me deje usarla. Es decir, hay un
montón de desarrollo tecnológico en muchos pueblos y en muchas tradicio-
nes que no se han vuelto mercancía. No tienen patentes, nadie me va a

decir que soy una pirata, se entiende que es un conocimiento comunal.

Inteligencia Artificial Feminista
1 78 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Y en realidad, si nos acercamos un poco, la tecnología capitalista
también lo es. Cuando alguien me dice “bueno, pues ustedes serán muy
pueblos indígenas, pero no han podido desarrollar un iPhone”, yo les digo,
claro que yo reclamo, nada más que para que alguien desarrollara un ¡Pho-
ne, llegamos a ese punto, o para que tuviéramos un iPhone, o cualquier tipo
de avance tecnológico, el que quieran, hubo gente que pudo dedicarse a
pensar y para eso esclavizó a otra. Y hubo un montón de personas que les
estaban cocinando y éramos mujeres, Y hubo un montón de territorios de-
vastados que resulta que eran los nuestros. Entonces, las ganancias las
estás privatizando, pero yo puse también, yo puse ahí mi trabajo. Mucha de
la tecnología no se pudo haber desarrollado sin la esclavitud, sin los siste-
mas esclavistas. Yo también tengo derechos, nada más que todas las ga-
nancias te las estás quedando tú. Y las desventajas y las pérdidas, las estoy
sufriendo yo, sobre los cuerpos y sobre los territorios. Así, yo siento que
también invertí en eso, pero más bien las ganancias se las lleva alguien más.
Y eso sabemos también sobre la participación de las mujeres. Para que los
hombres se pusieran a hacer sus innovaciones tecnológicas, se usó el tiem-
po y el esfuerzo de nosotras. Por lo tanto, también tenemos mérito en eso.

Al hacer esto, también la tecnología ha contribuido a ver la naturale-
za como un otro que puedes explotar y convertir en mercancía. Ahí es
cuando esa tecnología se vuelve un poco malvada o juega en contra del
planeta. ¿Qué sucede en esos otros principios tecnológicos de pueblos
indígenas o de tradiciones que no son capitalistas, o que o que plantean
otro tipo de alternativas? Primero es que naturaleza y humanidad no pue-

den ser separados. Por eso mucha gente ve como pensamiento primitivo el

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 79

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

hecho de que pidamos permiso a la tierra para sembrar, por ejemplo. Pero
nosotros decimos “no, no podemos separar la tecnología milpa del ritual”.
De pronto, tenemos cierta experiencia. La mayor parte de las reservas na-
turales en el mundo están en manos de pueblos indígenas. Sospechamos
que tenemos algo que decir al respecto para posibilitar la vida. Y la emer-
gencia climática ya nos está trayendo mucha muerte.

Entonces la pregunta es ¿para qué necesitamos progreso tecnológi-
co? ¿Necesitamos progreso o podríamos adaptar la tecnología a otra idea,
que es el buen vivir? Esa idea está en muchas lenguas, hay diferentes ma-
neras de llamarlo. Está el Sumak Kawsayl*fl, está el Sumaq Qamañal*”,
hay muchas maneras en muchas lenguas de decir *vivir bien”. La idea de
progreso nos está llevando a un punto en el que estamos, no nos está lle-
vando un buen vivir si se plantea que vamos a tener una catástrofe climáti-
ca. Entonces, ¿para qué necesitamos el progreso?

Hay gente que me dice “bueno, es que tú quieres en un mundo primitivo
sin celulares”. Y yo contesto “no, no es que yo quiera eso, lo que quisiera
es nada más que los celulares no respondieron a la lógica del mercado”. Si
necesito un celular para hablar con mi abuela, que está muy lejos y está
enferma, muy bien. Pero que no tenga que cambiarlo cada vez que el mer-
cado me diga, a cada año tener un nuevo teléfono, el más actualizado,

etcétera. Eso son cosas distintas. A eso se ponen las tecnologías de la di-

[66] En quechua. (N. de las E.)

[67] En aymara. (N. de las E.)

Inteligencia Artificial Feminista
1 80 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

versidad, luego con más tiempo hablaré. Un ejemplo es el sistema milpa,
pero hay muchos ejemplos de esa tecnología de la diversidad, que respon-
den a darte una mejor calidad de vida. Porque la tecnología actual, aunque
te diga que te va a dar una mejor calidad de vida, lo que te está dando es
una emergencia climática. Yo quisiera ver entonces cómo es posible que
estas tecnologías que vienen de la tradición capitalista puedan ser hackea-
das, y creo que gran parte del trabajo que hacen ustedes va hacia allá, que
puedan ser hackeadas, replanteadas, hasta encontrarnos con una idea que
es el tequio. Seguramente muchas de ustedes lo conocen, tal vez algunas
no, pero tiene que ver con una institución social de colaboración, que yo
llamo reciprocidad. No es que los pueblos indígenas seamos bien buena
onda y muy buena gente, no es un asunto moral, en el que todos nos ayu-
demos, porque vivimos en un mundo ideal, en donde nos agarramos de la
mano y decimos “sí”. No, tiene que ver con un asunto de una conciencia
profunda de que mi bien individual depende de un bien colectivo, hasta
podríamos decir que es conveniente, si lo quieren ver así. Esta reciprocidad
se da entre familias, se llama también mano vuelta o tunjénpet. Si tú vas a
hacer una boda, pues yo te voy a poner cinco litros de mezcal, suponga-
mos. Y cuando yo vaya a tener una fiesta, te voy a avisar con tiempo para
que después tú me des a mí. Esto aplicado a muchísimas cosas, de ver-
dad, incluso a la economía. En el mercado hay un sistema que cada vez
más se está perdiendo, pero ahí está. Y la reciprocidad colectiva, si tene-
mos un problema, si se desgajó el cerro, vamos todos a resolverlo. Si tene-
mos un deseo, una fiesta, es un deseo colectivo. Eso se hace y está muy

institucionalizado, esta tarea de trabajar juntos gratuitamente para un bien

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 8 Ú

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

común. Y en diferentes pueblos recibe diferentes nombres: minga, lum-
bung, kol, tequio, kumunytunk, paina, faena. Es decir, no es algo periférico
ni menor. Entonces, uniendo tecnología con la palabra tequio, que es cola-
borativa, inventé este neologismo que es la tequiología. Una tecnología
desde la reciprocidad, que no esté bajo los intereses del capitalismo, un
desarrollo tecnológico colaborativo. El software libre es lo más cercano a
este tequio que ya conocemos en nuestras comunidades. No es igual, pero
es lo más cercano. Las tecnologías de código abierto, la milpa sería una,
las podemos ir mejorando. Entonces, ¿qué hubiera sido del desarrollo, de
la innovación tecnológica, de no haberse atravesado el capitalismo, ni las
patentes, ni los códigos cerrados? Seguramente tendríamos más avances,
si lo queremos ver desde ese punto de vista. No es que el capitalismo haya
hecho que la tecnología haya avanzado, para mí incluso la retrasó, porque
no puedo entrar a mejorar un código, no puedo entrar a hacerlo si no me
permiten participar de ello. Así podríamos pensar en tecnologías contra-ca-
pitalistas, en las que las tequiologías tengan un lugar.

Y las lenguas indígenas se encuentran en esta situación, en donde
lo que hemos hecho por la tecnología en los pueblos indígenas es dar
nuestros recursos naturales. Meten minería en nuestros territorios, explotan
nuestros cuerpos históricamente. Hay crónicas desde el siglo XVI sobre
trabajo forzado en minería. Hemos participado de eso, pero ahora nos di-
cen que no tenemos ningún crédito en ello.

Ahora nos acercan un poco, muchas veces como diciendo “pobreci-
tos, no han tenido tanto acceso a la tecnología y ahora les vamos a en-

señar”. Es una visión muy estrecha de la tecnología. Pero bueno, ahí

Inteligencia Artificial Feminista
1 82 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

estamos y es verdad que tampoco tenemos muchas opciones. Entonces,
¿cómo hacemos para utilizar esas plataformas para ayudar un poco a
nuestras propias resistencias en lo que creamos un mundo post capitalista
tequiológico? Mientras, necesitamos interactuar, claro.

Acá les enseño cómo se construyen las casas en donde se hace co-
lectivamente. A cada uno, en una unidad familiar, colectivamente se le cons-
truyó una casa. Así, se garantiza el derecho al techo de otra manera.
Entonces, supongamos esto mismo, pero con tecnología y con nuevas tecno-
logías. Bueno, hay un montón de tecnologías, dado que somos humanidad,
pero ahora hablando específicamente de estas digitales. Lo que ha hecho el
sistema y el Estado es crear nichos de tecnología para nuestras lenguas.
Puedes hacer una app de cuentos, pero nada más para la literatura. Para el
sistema de salud no. Acceso a nuevas tecnologías para administración de
justicia, olvídenlo. Para administración pública, tampoco. Se lo hace para cier-
tas cositas, para lavar la cara. A eso un amigo lingúista le llama, *glottowas-
hing”, así como hay “pinkwashing”. Es decir, hacer como que si atenderan a la

diversidad linguística, pero en realidad no.

Activismo digital de lenguas indígenas: “era como un
tequio, nada más digital”

Ante esa situación, se crea un proceso muy interesante que Tajééw
Díaz, una compañera mixe del colectivo, ha impulsado mucho, en el que
también hemos participado, que se llama activismo digital de lenguas indí-
genas. Si por un lado los espacios digitales replican esta asimetría y esta

injusticia, por el otro hay activistas que están tratando de ir contracorriente.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 83

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

Ha habido encuentros. El primer encuentro fue en 2014 y fue interesantísi-
mo, además de darnos herramientas, la mayor parte de las personas que
nos formaron eran también de pueblos indígenas. Eso es muy importante.
Pero también hubo discusiones éticas. ¿Qué vamos a poner o no en la
red?, por ejemplo, cuando tiene que ver con Internet. ¿Por qué lo vamos a
hacer? ¿Con quiénes vamos a trabajar? Con qué códigos, etcétera. Si va-
mos a trabajar con Facebook y con Twitter y con Google, o no. No son de-
cisiones fáciles. Fue muy interesante y ha generado todo un movimiento a
nivel continental. La iniciativa Global Voices y Rising Voices tiene una línea
de trabajo que se comenzó en ese año bastante interesante.

Por un lado, está el desarrollo de apps, sobre todo para enseñar
lengua. Pero esas son apps que representan un gran esfuerzo, pero son
muy limitadas, en el sentido de que no son cursos completos de lengua. No
son como en Duolingo, sino que tienen palabras. En general, más que ha-
blar la lengua, aprendes palabras. Así mismo, eso ha tenido un impacto en
el imaginario, en la posibilidad de construir apps, de proteger lenguas con
en ese cruce de tecnología y pueblos indígenas. En su momento sí, fue
muy disruptivo, porque era como contestar el hecho de que a los pueblos
indígenas siempre nos confinan al pasado.

Otras personas que encabezaron un movimiento que ahorita está un
poco en stand by, pero ahí está, que es el Mozilla Nativo. Mozilla Nativo fue
muy interesante porque fueron también personas que hablan lenguas indí-
genas las que estuvieron ahí, en contacto, y que crearon este proceso.
Fueron espacios de formación, pero también de encuentro y de trabajo más

técnico para localizar Firefox, no solo para computadora, sino también para

Inteligencia Artificial Feminista
1 84 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

celulares. Eso fue muy importante. Mucha gente, más que computadoras,
va a tener celulares. Hay un montón de proyectos de localización, que sería
como la traducción a lenguas locales. Hay muchos proyectos de localiza-
ción de Firefox en lenguas indígenas, en guaraní, kagchikel, mixteco, zapo-
teco, náhuatl, etcétera. Yo conocí a varios activistas, pude entrevistar a
algunos.“Lo que nos gusta de las iniciativas como Mozilla es porque son de
código abierto, entonces para nosotros ya fue muy natural”, decía Rodrigo
Pérez, un gran activista digital, de los primeros. Decía “para mí fue muy na-
tural trabajar con software libre, porque así lo hacemos en el pueblo. Era
como un tequio, pero nada más en digital”. También hay iniciativas como la
de Wikipedia, por ejemplo. Hay más de 10 mil artículos en la Wikipedia en
náhuatl!$81. En maya, hay más de 6000, y por ahí va. Es también muchísimo
trabajo colaborativo.

También en esos espacios, aparte de discutir, nos dimos cuenta de
cuáles eran los problemas. Problemas más lingúísticos o más técnicos, de
muchos tipos. Pero también hay personas, y es respetable y hay que dis-
cutirlo, que trabajan con plataformas como Facebook, que sabemos que
tiene varios problemas. Pero bueno, quién está fuera del capitalismo, ¿no?
Que aviente la primera piedra. Pero sí, hay que discutirlo entre nosotros.
Por ejemplo, esto es Facebook en kagchikell$%1. Puedes entrar y tener todo

Facebook en kaqchikel, que además, a diferencia de Twitter, ha tenido un

[68] https://nah.wikipedia.org/wiki/Cal/.C4%ABxatl

[69] El kagchikel es una lengua que pertenece a la familia maya hablada por la población kaqchikel en la región centro occidental de
Guatemala. (N. de las E.))

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 85

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

impacto bien interesante en pueblos indígenas. Por otro lado, esto afecta la
neutralidad de la red, como ya sabemos, etcétera, etcétera. Todo tiene sus

pros y contras, nada es sencillo.

Entonces, por un lado tenemos todo un desarrollo de apps, sobre
todo para educación, pero ahí necesitamos mucha ayuda, en esta parte de
transmisión lingúística y enseñanza de nuestras lenguas. Sí, es algo que yo
personalmente necesito. Doy mis clases de mixe como segunda lengua y
me gustaría tener un lugar donde las personas puedan ver las palabras en
mixe, ver cómo se escriben y escucharlas también, hay un montón de co-
sas que necesitamos. Por otro lado, está todo esto de la colaboración de
software libre e iniciativas como Wikipedia, como Mozilla Nativo, etcétera, o
Linux. También ha habido colaboración desde nuestro colectivo con Linux,
entonces como software libre más lenguas indígenas, lo que me parece
muy padre. Pero también hay iniciativas como de Facebook o de Google
que están tratando cada vez más de desarrollar cosas con lenguas indíge-
nas, con todos los problemas que eso plantea.

En este escenario, ¿cómo podemos hablar de una soberanía tec-
nológica cuando no tenemos autonomía ni en nuestro territorio concreto?
En tiempos del capitalismo tardío, lo veo complicado. La pregunta sería ¿es
posible tener soberanía tecnológica sin desprenderse del sistema capitalis-
ta? Yo creo que no porque, todos los insumos para lo tecnológico, el wire-
less, la intranet, todo eso, sigue saliendo de estos territorios. Y hay mujeres
todo el tiempo que tenemos que estar ahí, poniendo el cuerpo para sacar la

minería, para que no te contamine el agua, etcétera. Yo lo veo complicado,

Inteligencia Artificial Feminista
1 86 Hacia una agenda de investigación en América Latina y el Caribe

La lengua como territorio cognitivo
y su relación con concepciones tecnológicas

pero claro, es un sueño como el sueño tequiológico. Pero mientras esto
pasa, ¿cómo usar las herramientas tecnológicas? ¿Bajo qué ética, para
ayudar en procesos de resistencia de los propios pueblos indígenas? Tipos
de mapeos, por ejemplo. Sabemos que Femsa, que es una empresa, la que
tiene Coca-Cola, tiene un mapeo de cuerpos de agua en México mucho
más impresionante que el de la Conagua. Son cosas que nos vamos en-
contrando y conociendo. Pero entonces, ¿cómo hacemos para que esas
herramientas tecnológicas ayuden a defendernos? Para mí la respuesta
sería tequiologías múltiples. No hay una sola respuesta, sino hay muchas,
en muchas tradiciones tecnológicas del mundo. No sólo hay una tecnología,

no solo es la occidental, y no siempre es para el progreso. Muchas gracias.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 87

Alexa, aményi.!'% Algunas
consideraciones sobre la
inclusión de las lenguas
indígenas en las tecnologías
Tajéeéw B. Díaz Robles
del hablal”?! Colmix

México

Por fortuna, crecí en una comunidad mixe en Oaxaca, en un periodo en el
que en muchos espacios se promovía el orgullo por los elementos propios
de la cultura. Aunque en mi familia el español y algunas palabras de cariño
en zapoteco estaban presentes, la lengua mixe era la predominante. A muy
temprana edad, aprendí que el mixe podía escribirse, en la primaria no tuve
clases de mixe pero la mayoría de mis maestros eran de la misma
comunidad y eran hablantes de la lengua. Durante mi educación secundaria
tuve mi primer acercamiento a una computadora con internet, todavía re-
cuerdo con cuánta curiosidad creamos nuestra primera cuenta de correo

electrónico, además de las clásicas iniciales combinadas con fechas de

[70] Aményi es ¡Cállate! en lengua mixe de Tlahuitoltepec.

[71] Una versión de este texto fue compartido durante el Taller de tecnologías del habla para las lenguas indígenas de América que tuvo
lugar el 6 de mayo de 2022 en las instalaciones de la UNAM y que fue co-convocado por Common Voice de Mozilla y otras
instituciones.

Inteligencia Artificial Feminista
1 88 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

nacimiento o signos zodiacales, recuerdo que al menos tuve un correo con
una palabra en mixe, yootsWVnorecuerdo.com, no recuerdo haberme sen-
tido mal por usar mi lengua en esas computadora, tampoco era consciente
de las limitaciones. Durante el bachillerato teníamos una gran sala de cóm-
puto, cada vez que tomábamos una clase de computación podíamos utilizar
una computadora con acceso a internet, comencé a ser una gran usuaria
de los foros de chat y del correo electrónico, en español, eso sí. Paralela-
mente, participaba de espacios multianuales que tenían lugar durante los
periodos vacacionales en diferentes comunidades de la Región Mixe para
aprender a escribir y leer en mixe, en esos espacios coincidimos con
personas jóvenes y adultas de otras comunidades mixes. Este pequeño
recuento escolar y tecnológico para establecer mi lugar de enunciación,
comparando el mayor acceso que tuve en mi comunidad a estas tecnolo-
gías y una actitud positiva hacia mi lengua, se diferencia de comunidades
en las que la discriminación y por tanto el rechazo por la lengua indígena
está muy presente y la brecha digital aún es muy grande.

Una vez establecido el contexto desde el que enuncio estas reflexio-
nes, quisiera focalizar el modo en el que la pandemia evidenció de una ma-
nera muy clara la brecha de conectividad y de acceso a plataformas y
dispositivos digitales. A pesar de los esfuerzos de clases por televisión y
por radio, fue imposible garantizar el derecho de la educación (oficial) a la
mayor parte de la población que habita las zonas rurales e indígenas y
seguramente a muchas zonas de las periferias de las grandes urbes.

Desde el 2019, el proyecto Endless Oaxaca Multilingúe de la Funda-

ción Alfredo Harp Helú Oaxaca A.C. inició sus actividades en Oaxaca. Se

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 89

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

trata de un proyecto piloto para conocer el impacto del uso de un sistema
operativo robusto en zonas con poca o nula conectividad, a la vez que se
incorpora contenido digital en lenguas indígenas de las comunidades. En
abril de 2022, realizamos una presentación de libros en una comunidad
mixe, Santa María Ocotepec, y a la pregunta de cuántos libros en mixe
tenían, algunos respondían que ninguno y otros más recordaron que en sus
computadoras tenían algunos. Somos conscientes de que incluir libros
digitales en una computadora no revitaliza ni mucho menos salva lenguas.
Sin embargo, requerimos de todos los esfuerzos posibles para poder
apoyar los esfuerzos locales y comunitarios para que una lengua minoriza-
da y discriminada no muera. De ahí que las herramientas digitales pueden
ayudar en esta tarea.

Muchas veces hemos escuchado decir que las lenguas indígenas
son orales, que no se escriben o que en todo caso no necesitan escribirse.
Si bien podemos tener largas conversaciones sobre esos supuestos,
prefiero solo afirmar que una lengua viva, una lengua sana, no solo debería
poder hablarse, debería también tener la posibilidad de escribirse, grabar-
se, visibilizarse, disfrutarse, es decir: USARSE en sus diferentes formas y
soportes.

Cuando vemos una película de ciencia ficción, o re-visitamos las
películas que hace 20 años nos hablaban de estos años, nos sorprende-
mos (o tal vez no tanto) de los avances tecnológicos que ha tenido la
humanidad. En un contexto con una crisis ambiental y humanitaria, al pare-
cer irreversible, siempre está la pregunta de qué puede hacer la ciencia y

tecnología para revertir guerras y la escasez de agua. Poco o nada hasta

Inteligencia Artificial Feminista
1 90 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

ahora. Pareciera que las rutas que transitan, por un lado, los desarrollos
tecnológicos, son paralelas pero independientes de la mayor parte del res-
to, del destino hacia el que va caminando la humanidad.

Mientras en un contexto de un capitalismo más salvaje cada vez, las
lenguas indígenas, pero más que las lenguas, las hablantes de las lenguas
indígenas, están siendo cada vez más empobrecidas y asesinadas, pues
cada vez son menos funcionales al sistema imperante, nos preguntamos
sobre el papel de las tecnologías de la información y ahora en particular en
las tecnologías del habla y su papel en esta resistencia por la supervivencia
de las personas hablantes de estas lenguas, en los procesos y luchas por

la existencia de nuestras lenguas.

“Google, pon la alarma a las 6 de mañana”

Hace unos meses escuché por primera vez a mi mamá pedirle a un
aparato que le programara el despertador a las 6 a.m. Mi primera reacción
fue decirle: “¿sabes que ese aparato registra todo lo que escucha?”

Esos dispositivos obviamente no son comunes en las comunidades,
pero tampoco son completamente ajenos. La migración y en general, la
movilidad social, ha permitido un mayor acceso a dispositivos y también ha
creado mayores necesidades de conectividad, por lo que muchas comuni-
dades han buscado, por su cuenta o con el apoyo de organizaciones exter-
nas, lograr acuerdos con particulares para tener servicios telefónicos o de
internet. Por eso no sabemos cuántos “googles” o “alexas” estén haciendo
corto circuito o estén almacenando horas de lenguas no hegemónicas en

sus bases de datos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 9 1

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

Recientemente en la prensa mexicana se difundieron noticias sobre
las filtraciones de millones de datos de contribuyentes del SATI721. ¿Quiénes
son esas 49 000 personas/empresas que tienen esos datos y cómo los
están usando o los usarán? Desde mi muy incipiente conocimiento sobre las
tecnologías del lenguaje y en particular de las del habla, entiendo que para
que un modelo funcione, requiere de una cantidad considerable de datos, lo
que implica que haya voces grabadas o un corpus escrito por lo menos.!73l

Durante el hackaton organizado por Common Voice y la UNAM du-
rante abril de 2022, uno de los equipos presentó un juego del gatol”* de
voz, que para poder identificar los números del 1 al 9 en náhuatl ingresó
más de 300 datos para su entrenamiento. Esto nos da una idea de cuántos
datos se requerirán para tener una aplicación más compleja que nos pueda
resolver problemas en la vida cotidiana y que podrían ayudar a las perso-
nas que hablan lenguas indígenas. Con un ejercicio aparentemente tan
sencillo, podemos ver qué tan grandes pueden ser las desventajas en
cuanto a recopilación de datos que tienen, por ejemplo, las lenguas en alto
grado de desaparición, que cuentan con un número limitado de hablantes y
que probablemente no han tenido mucha documentación. No ahondaré
más porque no conozco a detalle ningún caso. Pero sí puedo hablar de mi

lengua, el mixe.

Se puede consultar la nota en:
https://www.eleconomista.com.mx/opinion/SAT-huachicoleo-de-datos-personales-20220424-0005.html

[72

[73

Por ejemplo para Common Voice, nos compartían que cuando donas tu voz, no es grabar cualquier frase que se ocurra, sino que lees
un corpus escrito previamente preparado.
[74

Para mayor precisión, pues en cada país el nombre puede variar, consulte:
https: //arquimedes.matem.unam.mx/mati/actividades/actividad_gato/index.html

Inteligencia Artificial Feminista
1 92 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményi. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

Según datos del último Censo de poblaciónI”*1, alrededor de 130 mil
personas mayores de 3 años hablan alguna de las variantes de la lengua
mixe. Viendo en detalle los datos del Censo, hemos visto que el desplaza-
miento en las nuevas generaciones es, por decir lo menos, preocupante en
todas las comunidadesl”$l. Ya no hay transmisión generacional garantizada.
Ante esta realidad nos preguntamos ¿quiénes van a aportar los datos para
que la inteligencia artificial funcione en mixe? ¿Deberíamos ya comenzar
una campaña intensiva de documentación de nuestra lengua imaginándo-
nos lo peor?

Para la lengua mixe, existen varios esfuerzos de personas mixes
que utilizan tecnologías digitales para visibilizar y apoyar su enseñanza-
aprendizaje. Podemos identificar aplicaciones como la promovida por el
equipo de Kumoontun, una app para Androidl”71 y Apple del mismo nombre,
que nos ofrece una serie de datos: texto y audio, para aprender nombres de
cosas, comunidades y otras palabras para familiarizarnos con la lengua
ayó0k, variante de Santa María Ocotepec. Una de sus principales ventajas
es que una vez instalada, se puede utilizar sin necesidad de internet.

También podemos encontrar una serie de aplicaciones web desa-

rrolladas por el programador mixe Luis Balbuena Gómez en su página

[75] https://censo2020.mx/

[76] Aquí se puede conocer en detalle algunos datos relacionados con la estadística de hablantes de la lengua mixe, a partir del Censo de
población 2020:
https: //www.inegi.org.mx/app/indicadores/?t=1328ag=00*bodydataExplorer

[77] Se puede descargar en la Play Store:
https: //play.google.com/store/apps/details?id=com.seit.felix.kumoontunggl=US

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 93

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

tlahuitoltepec.com!”8l, que concentra una gran cantidad de información y la
presenta de manera interactiva en formato de juegos. Una de sus desven-
tajas es que no se puede utilizar sin internet.

Hay algunos otros esfuerzos como la aplicación para Android *Mixe
eyuujk” desarrollada para mixe de Tamazulapam y otra creada por el
equipo Yalam, que desarrolla diversas aplicaciones para lenguas indígenas,
incluido el mixe.

Además de estas aplicaciones web y móviles, existe contenido en
plataformas como Facebook y Youtube, que son difundidas por redes so-
ciales y que tienen un alto grado de difusión entre hablantes de mixe.
Quiero resaltar especialmente JE Yin-ET, una de las páginas que desde
hace más de 10 años crea contenido diverso, entre ellos, el doblaje de
escenas de películasl??l.

Finalmente, quiero mencionar el trabajo desarrollado por el colectivo
al que pertenezco, el Colmix, un espacio en el que hemos desarrollado di-
versos materiales, sobre todo textuales, que se pueden descargar de ma-
nera libre en nuestra páginal?% y se pueden consultar en nuestras redes
sociales. En los últimos años hemos contribuido, utilizado y promovido la

plataforma StoryWeaver para la creación de material de lectura ilustrada,

[78] Se pueden consultar en el siguiente enlace:
http://ayuujkjaaky.tlahuitoltepec.com

[79] Se puede consultar en el siguiente enlace:
https://www.youtube.com/user/xontun

[80] www.colmix.org

Inteligencia Artificial Feminista
1 94 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

actualmente se pueden leer al menos 100 libros en 6 variantes de lengua
mixe en la plataforma.!8!1

La mayor parte de los recursos digitales que mencioné es
desarrollada y/o promovida por personas que hablan la lengua mixe y que
están utilizando diversos recursos digitales para difundir y promover nuestra
lengua. Somos conscientes de que estas acciones tienen poco impacto real
en la transmisión generacional de la lengua. Sin embargo, sí tienen un
impacto en el estatus que tiene nuestra lengua entre las nuevas generacio-
nes, que ven el mixe en plataformas en las que estamos acostumbradas a
solo leer, escuchar o ver español u otras lenguas hegemónicas como el
inglés. Sabemos que las tecnologías del habla van más allá de estas apli-
caciones y plataformas y claro que si nos preguntan, quisiéramos que
nuestra lengua, en tanto lengua viva, también pudiera estar disponible en
esas tecnologías, la pregunta es ¿cómo queremos que nuestra lengua sea

incluida en esas tecnologías?

Soberanía de datosl*821

Hemos establecido que para cualquier tecnología de la lengua es ne-
cesario recopilar datos y sistematizarlos para que puedan ser utilizados para
las aplicaciones. Un traductor necesita mucha información para poder real-

mente ser útil. También se ha establecido que estos datos, por ejemplo la

[81] https://storyweaver.org.in/stories?language=Mixe8query=8sort=Ratings

[82] Retomo este término a partir de la experiencia del desarrollo de tecnologías del habla en maorí:
https://www.technologyreview.es//s/14144/la-inteligencia-artificial-esta-creando-un-nuevo-orden-mundial-colonial

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 95

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

grabación de voces, tiene que provenir de una diversidad de voces, para que
pueda ser más precisa, es decir, necesitamos no solo voces de hombres jó-
venes, que podría ser el sector de la población con más acceso a la tecno-
logía, también necesitamos voces más adultas y más jóvenes, y por supuesto,
también de mujeres. Por tanto, la lengua que queramos incluir en estas tec-
nologías deberá contar con hablantes, es decir deberán ser lenguas vivas.!83

En este punto una pregunta importante es ¿dónde se almacenan esos
datos? y esto nos lleva a otras como ¿quién promueve esas tecnologías?
¿quién utiliza estos datos? La mayoría de las iniciativas que conocemos son
promovidas por investigadores o investigadoras de universidades o centros
de investigación, pues son los espacios que pueden acceder a ciertas tec-
nologías. Incluso algunas aplicaciones más sencillas han sido promovidas
desde centro universitarios que desarrollan proyectos de titulación y que
una vez concluida su formación, abandonan y dejan sin actualización y
mantenimiento las aplicaciones. No se tiene certeza de dónde se quedan
almacenadas esas listas de palabras y las grabaciones que son utilizadas
para desarrollar esas tecnologías.

En el caso de las universidades, asumimos que los datos se almacenan
en los servidores de las instituciones, sin mucha claridad de quién tiene
acceso y qué diferentes usos se puede hacer de los datos. Quisiera
puntualizar aquí que el hecho de que una plataforma o institución mencione

que sus datos son abiertos o disponibles por sí mismo no garantiza el acceso

[83] Esto es más complejo, porque una persona que lee en la lengua indígena no necesariamente debe ser hablante. En condiciones
ideales, sí tendrían que ser las mismas personas hablantes.

Inteligencia Artificial Feminista
1 96 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

a las personas que hablan estas lenguas o que aportaron estos datos.
Primero por el conocimiento de las bases de datos y después por lo com-
plejo que puede ser el acceso o por los recursos necesarios para hacerlo.

Algunos investigadores y estudiantes han comentado sobre el celo
que tienen los hablantes con su información, algunas veces puede tratarse
de un asunto monetario por ciertas prácticas previas, pero también se trata
de un asunto de confianza. ¿A dónde se llevan mi voz? Si con las fotos
existen creencias de que se llevan el alma ¿qué se llevan con la voz? Estos
planteamientos son válidos, pues vienen de las vivencias y creencias de las
comunidades, por lo que deben ser consideradas para cualquier investiga-
ción que realicen. El cuidado que se tiene con los datos y el posterior
acceso a ellos deben ser prioridad en cualquier proyecto de recopilación de
datos, para establecer confianza con las personas que hablan estas
lenguas. Estos protocolos deben ser considerados tanto para gente externa
como para gente de las mismas comunidades.

Hemos conocido de protocolos que otros pueblos indígenas en el
mundo han desarrollado para el manejo de sus datos, esto nos inspira para
promover poco a poco estas conversaciones en nuestras propias comuni-
dades, no solo para el uso de datos para el desarrollo de tecnologías del
habla, sino también para proyectos cinematográficos y de otra índole que
involucre alguna forma de extracción de datos de la comunidad. De otra
manera estaríamos atestiguando el extractivismo de datos, práctica que
esperaríamos se pudiera combatir, no solo desde las comunidades sino
también desde los centros de investigación en los procesos de formación

de sus estudiantes.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 97

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

Las lenguas, sus variantes y sus hablantes

Las lenguas vivas cambian, tanto por el contacto con otras lenguas
como por los nuevos conocimientos que se incorporan y los cuáles se van
nombrando, ya sea con préstamos o con neologismos. En este sentido, nos
preguntamos cómo se define, en una tecnología del habla, qué variante
será la que se utilizará. ¿Será la que tenga más hablantes? ¿La que tenga
una comunidad organizada que promueva un proyecto en particular? ¿La
comunidad de una persona hablante que colabora con algún proyecto? Esa
decisión será importante e impactará directamente en procesos regionales
y locales que tenga la lengua. En el caso del mixe, sería interesante ver
cómo se transcribirá un texto en un programa, que conjunto de grafías será
elegido, si lo que coloquialmente llamamos ptkero o el bodeguero.

En realidad aquí lo que las tecnologías deberán atender serán las
necesidades de los hablantes de la lengua, retomar los procesos que de
por sí se estén desarrollando de manera local y hacer el proceso lo más
colaborativo posible y atendiendo los protocolos comunitarios que para tal
fin existan.

Como referencia, presento el caso de las Semanas de Vida y Lengua
Mixe, un espacio itinerante que desarrolla actividades de enseñanza-
aprendizaje de la lectura y escritura de la lengua mixe, que en los años
recientes ha dado un giro en sus actividades para centrarse en la planifica-
ción linguística del mixe y así atender los retos que tenemos en el presente.
En el marco de estos esfuerzos, desarrollamos actualmente un Seminario
Permanente de Didáctica de la Lengua Mixe y uno de los grandes retos es

el desarrollo de diversos materiales didácticos para la enseñanza de la

Inteligencia Artificial Feminista
1 98 Hacia una agenda de investigación en América Latina y el Caribe

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

lengua. Aquí tenemos una oportunidad de desarrollar aplicaciones que
puedan impactar directamente en actividades concretas que llevan a cabo
hablantes de la lengua mixe.

Hasta ahora, lo común es que las personas que hablamos las len-
guas indígenas seamos promotores entusiastas de ciertas tecnologías y
plataformas, y aunque, al menos en las ciencias sociales, ya sea política-
mente incorrecto decir informantes, seguimos jugando ese rol de solo ser
personas que proveen cierta información que extraen personas
especializadas. Poco a poco, las nuevas generaciones hablantes de las
lenguas indígenas están accediendo a carreras tecnológicas más
especializadas, por lo que deberíamos promover que esas mismas perso-
nas sean las que se involucren en el desarrollo de todas aquellas tecnolo-
gías del lenguaje que deseemos en las comunidades. El hecho de que una
persona hable la lengua no garantizará una perspectiva comunitaria o un
respeto por ciertos protocolos comunitarios, pero tendremos la ventaja de
que al ser parte del colectivo, podremos tener una comunicación más
directa e incluso tener mecanismos de rendición de cuentas que nos
permitan garantizar nuestra soberanía en las decisiones que tomemos.

Finalmente, me gustaría reiterar que no queremos estar al servicio
de bases de datos de los desarrollos tecnológicos, queremos co-crear o
mejor, tener la capacidad para crear nuestras propias tecnologías, siendo
conscientes siempre de sus implicaciones y alcances, sin dejarnos llevar
por la lógica del desarrollo por el desarrollo sin considerar las implicaciones
que puede tener el uso de un dispositivo o de una herramienta, no solo

para nuestras comunidades sino también para otros pueblos del mundo.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 99

Alexa, aményí. Algunas consideraciones sobre la inclusión
de las lenguas indígenas en las tecnologías del habla

Aunque no sé si en algún momento podremos decidir si Alexa
logrará descifrar algo en mixe, quiero pensar que si eso pasa, también

tendremos la posibilidad de callarla, de decirle: Alexa amenyi.

Inteligencia Artificial Feminista
200

Hacia una agenda de investigación en América Latina y el Caribe

201

Inteligencia artificial:

un manifiesto descoloniall$4] Aarathi Krishnan
Angie Abdilla - A Jung Moon

Buse Cetin : Carlos Affonso Souza
Chelle Adamson : Eileen M. Lach
Farah Ghazal : Jessica Fjeld
Jennifer Taylor - John C. Havens
Malavika Jayaram

Monique Morrow - Nagla Rizk
Paola Ricaurte : Raja Chatila
Ravit Dotan * Sabelo Mhlambi
Sara Jordan : Sarita Rosenstock

Este manifiesto es una provocación, una pregunta, una apertura, una danza
acerca de un futuro descolonial de los sistemas de inteligencia artificial (IA).
Es un manifiesto que apunta a la pluriversalidad, ya que refleja una visión
entre muchas. Esperamos invitar al intercambio, a la conversación y a promover

declaraciones de las personas afectadas por las tecnologías de lA.

[84] El equipo detrás del Manyfesto se reunió en torno a un deseo compartido de ir más allá de los prejuicios occidentales en el aislamiento

que impulsa la tecnología global a medida que avanzamos en la era algorítmica. Compuesto por un grupo de expertos en lA, ciencias
sociales, humanidades, derechos humanos, de diferentes regiones geográficas, género, racialidad, edad y otras interseccionalidades,
el grupo se reunió en el transcurso de 16 meses, en medio de la pandemia, para prever y redactar este manifiesto.
Esta iniciativa es solamente el comienzo: el objetivo del grupo es proporcionar este texto como base para talleres, documentos y polít-
icas, todo ello diseñado para manifestar la conciencia de que para que la tecnología sea "justa", "digna de confianza" o "responsable"
no puede abarcar los sesgos e intereses de una sola región o pueblo. Sostenemos que las asimetrías epistémicas en torno a la lA se
traducen en asimetrías sociales y económicas. El orden de los autores es alfabético. El grupo que coordinó las sesiones durante el
ejercicio colectivo estuvo compuesto por Buse Cetin, Sabelo Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial:
un manifiesto descolonial

Comenzamos con el reto que supone el lenguaje que utilizamos para
hablar de lA: un lenguaje que se encuentra dominado, al igual que gran
parte de la tecnología, por las voces de hombres blancos privilegiados de
occidente. Intentamos desvelar, cuestionar, poner en tela de juicio y rein-
ventar los supuestos que subyacen a este lenguaje, incluso cuando lo utili-
zamos.

"Artificial" e "inteligencia" son términos con algunas connotaciones.
Sus definiciones están sujetas a prejuicios culturales. La lA es una tecno-
logía, una ciencia, un negocio, un sistema de conocimiento, un conjunto de
narrativas, de relaciones, un imaginario. En cada una de sus facetas, nues-
tro esfuerzo consiste en desmantelar el epistemicidio colonial de las formas
de ser y conocer no occidentales. La palabra "descolonialidad" también re-
suena de forma diferente en las distintas comunidades, incluso entre los
pueblos originarios y aquellos para los que el colonialismo no es un hecho
de la historia sino una realidad presente. Algunas personas rechazan el
término descolonial en este contexto. Reconocemos tanto su uso como su
rechazo.

No buscamos el consenso: valoramos la diferencia humana. Recha-
zamos la idea de que un único marco epistémico y un modelo de mundo
pueda regir universalmente. Rechazamos el lenguaje normativo occidental
de la lA "ética" y las sugerencias de "inclusividad" que no desestabilizan los
actuales patrones de dominación y asimetrías de poder. Rechazamos el si-
mulacro ético de a través de principios que pretenden retocar, reforzar y
blanquear el estatus quo, limitándose a amortiguar sus efectos devastado-

res. Rechazamos aquellas iniciativas que no reconocen cómo lo social y lo

Inteligencia Artificial Feminista
202 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial:
un manifiesto descolonial

técnico están entrelazados y que las tecnologías tienen impactos tanto in-
materiales como materiales sobre cuerpos racializados, etnizados, en par-
ticular de mujeres, de territorios específicos. La descolonialidad rechaza el
divorcio entre lo material y lo inmaterial, entre el sentir y el ser, el saber, el
hacer y el vivir.

Las nociones de gobernanza descolonial surgirán de la comunidad y
en cada contexto situado, cuestionando lo que actualmente son las narrati-
vas hegemónicas. La descolonialidad no significa únicamente diversidad e
inclusión. Para eliminar los ecos de la colonialidad en la lA será necesario
reparar la injusticia y el presente y pasado despojo material y epistémico.
Estas reinvenciones de la gobernanza de la lA reconocerán la sabiduría
proveniente de la experiencia vivida y promoverán condiciones para hacer
posible que quienes han sido históricamente marginalizados tengan la
oportunidad de decidir y construir sus propios futuros sociotécnicos dignos.
A diferencia de las estructuras de gobernanza centradas en Occidente, la
gobernanza descolonial reconocerá cómo nuestros destinos están entrela-
zados. Nos debemos mutuamente nuestro futuro.

Nuestra humanidad es relacional, se define por cómo nos vinculam-
os unas personas con otras y con los demás seres. La tecnología tiene un
lugar importante en esas relaciones. La creación -el arte, la narrativa- y la
experiencia sensible, son algunos de los caminos que debemos explorar
para potenciar la imaginación descolonial. Buscamos centrarnos en las
prácticas de ingeniería, diseño, producción de conocimiento y resolución de
conflictos de diversas culturas, basadas en sus propios sistemas de

valores.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 203

Inteligencia artificial:
un manifiesto descolonial

Nuestra urgencia surge del riesgo de utilizar la lA como sistema de
conocimiento para crear "verdades algorítmicas"” irrefutables que refuercen
la dominación. Al hacerlo, se niegan y borran otros sistemas de producción
de conocimiento y otras visiones, así como la agencia, la autonomía y las
resistencias de otros pueblos. De este modo, la colonialidad de la lA va
más allá del colonialismo de los datos: la lA está basada también en el ex-
tractivismo del territorio y además tiene la capacidad de modelar la realidad.
Diseñados en una sociedad desigual, estos sistemas pueden emplearse
para reproducir desigualdades. Construidos con un énfasis en la eficiencia
más que en la dignidad, pueden causar un daño irreparable. Al insistir en
una lA descolonial, defendemos el derecho de las comunidades histórica-
mente marginalizadas a modelar la realidad en sus propios términos.

Nuestros métodos evolucionarán, sensibles a las necesidades y
oportunidades, pero nuestro objetivo es crear y mantener un foro resonante
para el aprendizaje y el intercambio desde y entre las voces silenciadas por
las estructuras coloniales y la colonialidad vigentes a través de los sistemas

sociotécnicos.

Inteligencia Artificial Feminista
204 Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber y la
lA descoloniall89!

Raziye Buse Cetin
Turquía

El verano pasado visité a mis abuelos que viven en un pueblo en la
Anatolia, en Turquía. Como indagación personal, le pregunté a mi abuelo
qué representaba para él “Europa”, cuáles fueron las primeras palabras,
símbolos, imágenes que le vinieron a la mente cuando dije “Europa”. Inme-
diatamente respondió: “progreso, tecnología, inteligencia, trabajo duro...” y
agregó, “somos corruptos y no trabajamos lo suficiente. Por eso nos
quedamos atrás”. Sentí un calambre en el estómago, pero sonreí.

No hay nada más desalentador e invalidante que creer que hay algo
intrínsecamente malo en su cultura, educación y formas de conocer, sentir
y dar sentido al mundo. Como piensa mi abuelo, ¿los europeos o los occi-
dentales tienen economías avanzadas porque saben, tienen la tecnología

de su parte, y son más trabajadores y moralmente superiores a los demás?

[85] Nota de las editoras: La investigadora turca Raziye Buse Cetin plantea una reflexión sobre cómo la lA está profundamente enredada
con la colonialidad del poder de varias maneras, no solo a las esferas políticas y económicas, sino también a los lugares de producción
de conocimiento, percepción, sentimiento e imaginación. El texto original en inglés se puede consultar en:
https://www.gwi-boell.de/en/2021/02/11/wisdom-of-not-knowing-and-decolonial-Al

Inteligencia Artificial Feminista
205 Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber
y la lA descolonial

Falta una parte en la historia de mi abuelo. Una que contradice las
narrativas globalizadas de la modernidad y la colonialidad. Es una historia
de explotación global, extracción, racismo, capitalismo, pensamiento dua-
lista y hegemonía. Es la historia de esta red invisible de recursos naturales
y generaciones de trabajo humano racializado que sostienen las brillantes
promesas de eficiencia comercializadas a través del avance tecnológico.

Esto también suele faltar en el discurso dominante sobre las tecno-
logías de inteligencia artificial (IA). La lA existe en un sistema sociotécnico
(Johnson € Verdicchio, 2017) que inevitablemente interactúa con lo que es
social. No es solo una disciplina científica y un negocio, sino que también

tiene su propia mitología (Crawford, 2014):

La 'lA' se entiende mejor como una ideología política
y social que como una cesta de algoritmos. El
núcleo de la ideología es que un conjunto de
tecnologías, diseñado por una pequeña élite técnica,
puede y debe volverse autónomo y eventualmente
reemplazar, en lugar de complementar, no solo a los
humanos individuales sino a gran parte de la
humanidad. (Lanier, 2021)

Inteligencia Artificial Feminista
206 Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber
y la lA descolonial

La lA y el poder colonial

La lA está profundamente enredada con la colonialidad del poder de
varias maneras. La colonialidad del poder da forma no solo a las esferas
políticas y económicas, sino también a los lugares de producción de cono-
cimiento, percepción, sentimiento e imaginación. En los ecosistemas de lA,
el conocimiento científico, la invención tecnológica y las ganancias corpo-
rativas se refuerzan mutuamente y conducen a la consolidación del poder
político y económico. El sistema económico en el que está incrustada la lA
es uno de capitalismo extractivo. Moldea los objetivos, los modos de pro-
ducción, las formas de trabajo y la distribución de la riqueza y el poder en
torno a esta tecnología.

En su etapa actual, la lA nace en economías de escala y plataformas
digitales. Las grandes empresas tecnológicas acumulan una masa crítica a
través de enormes retornos a escala y efectos de red. Esto conduce a la
centralización de las infraestructuras digitales sobre las que se construye
una parte considerable de las actividades comerciales y de diversa índole.
El alcance y el poder actuales de estas importantes empresas tecnológicas
recuerdan a los imperios; solo que ahora extraen datos junto con los recur-
sos naturales y el trabajo racializado de otras partes del mundo.

El discurso dominante mistifica la lA como una tecnología abstracta
y autosuficiente. La imaginación popular se obsesiona con la tecnología al
ignorar todos los recursos naturales y materiales, así como el trabajo hu-

mano, que hacen posible la lA en primer lugar. La anatomía de un sistema

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 207

La sabiduría del no saber
y la lA descolonial

de 1A!881, Kate Crawford y Vladan Joler, muestra todos los recursos mate-
riales, el trabajo humano y los datos necesarios para el ciclo de vida de un
solo Amazon Echo, desde su producción hasta su eliminación. Esto incluye
la extracción de minerales terrestres como el litio para producir el hardware,
una gran infraestructura como Internet, el trabajo de los etiquetadores de
datos y más. El trabajo humano no solo es vital para refinar, ensamblar,
distribuir y transportar los componentes físicos y virtuales de un sistema,
sino que los consumidores también realizan trabajo continuamente al ge-
nerar datos y, en última instancia, ayudar a mejorar los sistemas. (Crawford
8 Joler, 2018)

Los datos como fuente última de conocimiento

La creciente confianza en los datos como fuente última de conoci-
miento impone un nuevo orden epistemológico basado en la datafica-
ción/mercantilización de todo. Los principales conjuntos de datos de
entrenamiento para el aprendizaje automático (NMIST, ImageÑNet, Labeled
Faces in the Wild, etc.) se originaron en corporaciones, universidades y
agencias militares del Norte Global. (Pasquinelli 8 Joler) Las categorías bi-
narias de raza y género construidas socialmente se cimentan en taxo-
nomías y sistemas de clasificación de datos, lo que refuerza las

implicaciones sociales, políticas y económicas en la distribución del poder

[86] https://anatomyof.ai

Inteligencia Artificial Feminista
208 Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber
y la lA descolonial

de tales categorías. Los marginados, cuerpos minorizados y subalternos
que no encajan en las clasificaciones y taxonomías coloniales son objeto de

violencia algorítmica y discriminación.

Al decolonial

El relato de la colonialidad de Al es vasto y complejo. En "Decolonial
Al: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence",
Mohamed, Png e Isaac (2020) brindan una visión integral de los sitios de
descolonialidad en la lA. De manera similar, Ricaurte desarrolla un modelo
teórico para comprender la colonialidad del poder en los datos en “Episte-
mologías de datos, colonialidad del poder y resistencia”. (Ricaurte, 2019)
Esta actividad académica ciertamente contribuye a lo que Adolfo Albán
Achinte llama re-existencia: “una estrategia de cuestionamiento y visibiliza-
ción de las prácticas de racialización, exclusión y marginación, procurando
redefinir y resignificar la vida en condiciones de dignidad y autodetermina-
ción, mientras al mismo tiempo se confronta la biopolítica que controla, do-
mina y mercantiliza los sujetos y la naturaleza.” (Achinte, 2008, pp. 85-86)

Sin embargo, la descolonialidad también tiene sus contradicciones y
cuestionamientos. Por ejemplo, el lenguaje de la descolonialidad corre el
riesgo de ser capturado: "cómo escribir (producir) sin inscribirse (reproducir)
en la estructura blanca dominante y cómo escribir sin reinscribir y reprodu-
cir aquello contra lo que nos rebelamos". (Anzaldúa, 2018, pp. 20-21) O
¿qué queda de la lA una vez que se torna descolonial? ¿Encierra esto ne-
cesariamente la descolonialidad en posiciones aparentemente opuestas de

rechazo tecnológico y/o captura inevitable? Yo veo la ansiada idea de pu-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 209

La sabiduría del no saber
y la lA descolonial

reza y los binarios colonial vs descolonial que mi mente reproduce en estas
preguntas. Trato de resistir y recordar que “no hay propietario ni un plan
maestro privilegiado para la descolonialidad” (Anzaldúa, 2018, p. 118) y
apreciar la hibridación y complejidad de las cosas.

En lugar de renunciar al impulso de la mente moderna por la certeza,
la jerarquía y las respuestas prefabricadas, la descolonialidad puede verse
como un proceso continuo y una praxis que no solo es epistemológica sino
también emocional, espiritual y contextual. Se trata de construir patrones
situados del otro: vivir, reflexionar, analizar, teorizar, actuar y dejar lo cons-
truido (y capturado) para empezar de nuevo. Se trata de centrar la vida: “La
opción descolonial... parte de la idea de que 'la regeneración de la vida
debe prevalecer sobre [la] primacía del reciclaje de la producción y repro-
ducción de bienes”. (Bhambra, 2014, p. 137)

La sabiduría de no saber

Mi abuelo es agricultor, su padre fue imánl?”l y también agricultor. Mi
abuelo no fue a la escuela secundaria, no está empapado del tipo de cono-
cimiento más valorado para la modernidad/colonialidad. Cuando le expliqué
cómo se usaba la lA en la agricultura para la detección de enfermedades y
el pronóstico estacional, no parecía muy interesado. Porque él sabe que,

haga lo que haga, si cae granizo este año, significa que pueden perder una

[87] Posición de liderazgo comunitario en el islam. (N. de las Eds.)

Inteligencia Artificial Feminista
2 1 0 Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber
y la lA descolonial

parte importante de su cosecha. La amenaza de pérdida de cosechas
siempre está presente, pero nunca lo he visto quejándose retadoramente
de las fuerzas de la naturaleza - como lo hace con las fuerzas del capital.
Esta humildad espiritual y la relación personal de mis abuelos con la
naturaleza y el suelo me enseñaron que hay sabiduría en no saber en el
sentido moderno/colonial. Es bastante contraintuitivo para la mente moder-
na/colonial y sus tecnologías, ya que vende la ilusión de control que se ob-
tiene al saber. A estas alturas, no se trata de saber más; se trata de
respetar la naturaleza en constante cambio de la vida al honrar otros tipos
de conocimiento. En La mano izquierda de la oscuridad, Ursula K. Le Guin
dice: “Aprender qué preguntas no tienen respuesta y no responderlas: esta

habilidad es más necesaria en tiempos de estrés y oscuridad”.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 1

pd

La sabiduría del no saber
y la lA descolonial

REFERENCIAS

Achinte, A. A. (2008) ¿Interculturalidad sin decolonialidad? Colonialidades
circulantes y prácticas de re-existencia. En: Villa, W. 8 Grueso, A. (eds.)
Diversidad, interculturalidad y construcción de ciudad. Universidad
Pedagógica Nacional/Alcaldía Mayor, 2008), 85-86. En: Mignolo, W. D. €
Walsh,C. E. (2018). On Decoloniality. Duke University Press.

Anzaldúa, G. (2018) Light in the Dark, Luz en lo Oscuro: Rewriting Identity,
Spirituality, Reality, ed. Analouise Keating, 7 (Durham, NC: Duke University
Press, 2015). En Mignolo, W. D. € Walsh, C. E. On Decoloniality. Duke
University Press, pp. 20-21.

Bhambra, G. K. (2014). Postcolonial and decolonial reconstructions. In Bhambra, G.
K. Connected sociologies, pp. 117-140. London: Bloomsbury Academic.

Crawford, K., Gray, M. L., 8 Miltner, K. (2014). Big Data | critiquing Big Data:
Politics, ethics, epistemology | special section introduction. International
Journal of Communication, 8, 10.
https: //ijoc.org/index.php/ijoc/article/download/2167/1164

Crawford, K. 8 Joler, V. (2018). Anatomy of an Al system: The Amazon echo as an
anatomical map of human labor, data and planetary resources. Al Now
Institute and Share Lab.
https://anatomyof.ai

Johnson, D. G., 8 Verdicchio, M. (2017). Reframing Al discourse. Minds and
Machines 27 (4): 575-90.
https://doi.org/10.1007/s11023-017-9417-6

Lanier, J. (2021). Al is an ideology, not a technology. Wired.

https: //www.wired.com/story/opinion-ai-is-an-ideology-not-a-technology/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

La sabiduría del no saber
y la lA descolonial

Mohamed, S., Png, M. T., 4 Isaac, W. (2020). Decolonial Al: Decolonial theory as
sociotechnical foresight in artificial intelligence. Philosophy € Technology,
33(4), 659-684.
https://doi.org/10.1007/513347-020-00405-8

Pasquinelli, M. 8 Joler, V. (s.f.) The Nooscope Manifested - Artificial intelligence as
instrument of knowledge extractivism, 23.
https://nooscope.ai/

Ricaurte, P. (2019), Data epistemologies, the coloniality of power, and resistance.
Television 8, New Media 20, no. 4 (May 2019): 350-65.
https://doi.org/10.1177/1527476419831640.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 3

Inteligencia artificial y la
imaginación feminista
descoloniall8l

Paola Ricaurte

Tecnológico de Monterrey
México

En años recientes los gobiernos y las empresas de los países industrializa-
dos y las organizaciones internacionales han promovido diversos marcos
éticos (UNESCO, 2021, OCDE, 2019) para orientar el desarrollo de las
tecnologías, especialmente las asociadas a la inteligencia artificial (IA). En
la narrativa del desarrollo tecnológico capitalista, los sistemas inteligentes
son los más prometedores para la innovación, puesto que se encuentran
asociados con los ideales de productividad y eficiencia. Por ello, la inteli-
gencia artificial se ha convertido en un eje articulador del capital, del poder
y de la política. Algunos de estos marcos éticos, que guían las prácticas, las
políticas y los reglamentos, se basan en los derechos humanos (Adams,
2022) e incorporan principios para defenderlos, especialmente en el
despliegue y el uso de la lA. Sin embargo, como hemos observado
históricamente, un marco de derechos humanos no es suficiente para

garantizar los derechos humanos ni para lograr la justicia.

[88] Una versión en inglés de este texto fue publicada en Bot Populi y se encuentra disponible en el siguiente enlace:
https://botpopuli.net/artificial-intelligence-and-the-feminist-decolonial-imagination/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 4

Inteligencia artificial
y la imaginación feminista descolonial

Por un lado, estos marcos reflejan una perspectiva ética occidental
(Jobin et. al, 2019) sobre el problema, que deja fuera las epistemologías no
occidentales (Mhlambi, 2020) y una discusión sobre la justicia a nivel global
que incorpore diferencias onto-epistémicas. La ética del diseño, desarrollo,
despliegue y uso de la IA desde los marcos éticos actuales se centra en
principios como la transparencia y la rendición de cuentas (Jobin et al.,
2019), lejos de las poblaciones afectadas por estas tecnologías (Aguilar,
2022; Díaz, 2022). Este hecho hace evidente la distancia entre las perso-
nas que pueden producir, entender y auditar los algoritmos y las son
afectadas por ellos. Por otro lado, los marcos éticos impulsados por los
actores poderosos, como las corporaciones tecnológicas o los gobiernos de
los países ricos, no discuten la centralidad geopolítica de los sistemas inte-
ligentes como arma de guerra y vigilancia, su carácter extractivista, su lugar
en el control social de los cuerpos-territorios, las subjetividades, las relacio-
nes intersubjetivas y, en definitiva, su papel en el secuestro del futuro.
(Bruno, 2021)

Desde una perspectiva más amplia, la discusión sobre la justicia
asociada a las tecnologías debe situarse en diálogo con la realidad de los
contextos y comunidades locales sobre los que recaen sus impactos.
(Ricaurte 8 Ciacci, 2020) Además, debe apuntar al análisis de las asi-
metrías que hacen de este desarrollo tecnológico un instrumento para la
continuidad de la violencia a escala global. (Ricaurte, 2022)

En un ámbito global, la justicia integradora debe considerar las múl-
tiples dimensiones en las que se despliega la injusticia mediada por la tec-

nología: social, económica, epistémica, laboral, infraestructural, digital,

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 5

Inteligencia artificial
y la imaginación feminista descolonial

climática, energética, territorial, alimentaria, entre otras, en contextos loca-
les y para comunidades específicas. Así, por un lado, la definición de la
justicia tiene que partir de la experiencia de las propias comunidades
(Cortés et al., 2020), así como las visiones que poseen sobre su futuro
(Trejo, 2022). Por otro lado, es necesario abordar las relaciones asimétricas
globales que contribuyen a profundizar la violencia sistémica y estructural
entre países a nivel planetario. Por último, debe reconocer los impactos di-
ferenciados del desarrollo tecnológico en las poblaciones excluidas del
norte y del sur global e impulsar que los países industrializados, asuman la
responsabilidad de su liderazgo en las decisiones en torno a la gobernanza
y el desarrollo de lA.

En este ensayo, proponemos una visión que articule los aspectos
macro y micropolíticos (Rolnik, 2019) como parte del proyecto descolonial y
feminista, que considera múltiples dimensiones que deberían considerarse
para desarrollar tecnologías de la lA justas para la mayoría del planeta
(Ricaurte, 2022). Nuestro propósito es identificar los límites e implicaciones
de la aplicación de marcos éticos que no abordan el problema del poder y
el papel que juegan las tecnologías de lA en la automatización de la opre-
sión. (Peña 8 Varon, 2020) Así, el problema se relaciona con el poder y el
papel que desempeña la inteligencia artificial dentro de la matriz de domi-
nación como producto y herramienta de/para la perpetuación de los siste-
mas de violencia. Partiendo de los trabajos anteriores, identificamos las
intervenciones y los marcos integrales que requerimos para construir tec-
nologías alineadas con el derecho a una vida digna y, al mismo tiempo,

respetuosas con el ambiente.

Inteligencia Artificial Feminista
2 1 6 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

La colonialidad del poder: tecnología, género, ambiente

El sociólogo Aníbal Quijano desarrolló la noción de colonialidad del
poder (Quijano, 2000, 2007) para explicar la dominación epistémica a
través de la diferencia racial ejercida por la metrópoli europea durante la
colonización. La colonialidad explica la lógica, el mecanismo de jerarquiza-
ción y catalogación epistémica de unos seres humanos por encima de otros
a partir de la diferencia racial producida durante la colonización y perpetua-
da hasta nuestros días. Por lo tanto, la colonialidad extiende la colonización
en forma de epistemicidio (de Sousa Santos, 2015) basado en la diferencia
racial.

La colonialidad del poder lleva a la destrucción de cualquier forma
alternativa de pensar, ser, sentir, hacer y vivir diferente al modelo occiden-
tal/moderno del mundo. El locus del despojo son los recursos naturales de
los territorios colonizados y nuestros cuerpos, pensamientos, acciones,
afectos y relaciones. (Ricaurte, 2020) El poder colonial implica despojar al
sujeto de la colonización de su valor como ser humano y ejercer la superio-
ridad racial como dominación epistémica. Es despojar a la persona de su
humanidad. Como explica el filósofo africano Sabelo J. Ndlovu Gatsheni
(2020), incluso cuando se hace retroceder la colonización como proceso
físico (el imperio físico), el colonialismo como estructura de poder continúa,
porque invade el universo mental de un pueblo, desestabilizando lo que

solía conocer, para pasar a conocer lo que trae el colonialismo.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 vá

Inteligencia artificial
y la imaginación feminista descolonial

Los valores colonialistas, racistas y patriarcales se imponen como
principios universales para el diseño de la tecnología. Estos valores están
codificados en marcos éticos que dan forma a los sistemas de inteligencia
artificial, a la construcción de máquinas antropomórficas y blancas (Cave 8
Dihal, 2020), a los algoritmos racistas (Benjamin, 2019; Noble, 2018), a la
construcción de narrativas sobre el progreso, el desarrollo, la productividad,
la eficiencia, la modernidad y el futuro asociadas a la tecnología pero an-
cladas en imaginarios que consolidan la superioridad racial (Benjamin,
2016). Los sistemas sociotécnicos son parte de los ensamblajes de conoci-
miento que producen narrativas que contribuyen a la dominación epistémi-
ca occidental (supremacía blanca, heteropatriarcado, capitalismo y
colonialismo). Por lo tanto, es crucial entender cómo la dataficación, las
mediaciones algorítmicas y los sistemas inteligentes operan cognitiva,
emocional y pragmáticamente para construir visiones del mundo y formas
de relacionarse y concebir la existencia social. Sus efectos se plasman en
la configuración de las relaciones entre los sujetos (políticos, económicos,
sociales), entre los seres vivos (humanos y no humanos), pero también en
la relación con los objetos (seres vivos y no vivos/máquinas) y entre los
propios objetos (por ejemplo, entre las máquinas, como vemos en el inter-
net de las cosas). El proyecto de la modernidad disocia los procesos de
producción tecno-científica de sus efectos sobre los cuerpos racializados y
los territorios que habitan. Sin embargo, estos territorios proporcionan las
materias primas y los recursos laborales necesarios para producir tecno-
logía y son el lugar donde los países industrializados expulsan sus

residuos.

Inteligencia Artificial Feminista
2 1 8 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

Por lo tanto, en el estudio de la inteligencia artificial desde una pers-
pectiva decolonial y feminista, es necesario considerar todo el ciclo de la
inteligencia artificial, las relaciones sociopolíticas asociadas a ella y su

contribución a la reproducción de las asimetrías de poder.

Ética y justicia

El papel de algunos Estados en el desarrollo de armas autónomas
es un ejemplo de la limitación de estos debates éticos que no abordan las
asimetrías de poder, las fuerzas geopolíticas y la violencia. Además, es un
ejemplo de doble discurso O lavado de ética cuando hablamos de
inteligencia artificial:

Las armas totalmente autónomas, también conocidas como "robots
asesinos", serían capaces de seleccionar y atacar objetivos sin un control
humano significativo. Los precursores de estas armas, como los drones
armados, están siendo desarrollados y desplegados por naciones como
China, Israel, Corea del Sur, Rusia, el Reino Unido y Estados Unidos. Exis-
ten serias dudas de que las armas totalmente autónomas sean capaces de
cumplir las normas del derecho internacional humanitario, incluidas las
reglas de distinción, proporcionalidad y necesidad militar, al tiempo que
amenazarían el derecho fundamental a la vida y el principio de la dignidad
humana. (HRW, 2021)

¿Un robot asesino con un algoritmo perfectamente auditable y
transparente pasaría la prueba ética internacional? Tal vez. Por lo tanto, un
debate que no erradica la violencia en el centro como principio para lograr

la justicia o que sólo da acceso a la justicia a poblaciones específicas y

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2 1 9

Inteligencia artificial
y la imaginación feminista descolonial

dentro de los límites de las fronteras nacionales o regionales no puede
considerarse un debate honesto por la justicia. La búsqueda de la justicia
asociada a los procesos de dataficación, mediación algorítmica y automati-
zación necesita una concepción integral que articule las diferentes dimen-
siones de la justicia y apunte a reparar el daño infligido a las personas que
históricamente han sufrido y sufren la violencia (física, emocional, econó-
mica, laboral, epistémica, algorítmica) para sostener el actual modelo de
desarrollo tecnológico. Argumentamos que el modelo hegemónico de de-
sarrollo tecnológico basado en la violencia extractivista y el despojo es, en
esencia, un modelo necro-tecnológico central en el proyecto capitalista/co-
lonial/patriarcal/moderno. Este proyecto necro-tecnológico hegemónico está
anclado en el principio de exterminio de cuerpos y territorios específicos. La
injusticia es el resultado de las múltiples formas de violencia ejercidas sobre
los cuerpos y los territorios. La violencia se traduce en la pérdida de auto-
nomía, en la imposibilidad de lograr una vida digna y un mundo donde la
justicia sea accesible para todos. Para avanzar hacia la justicia tecnológica
como horizonte, necesitamos incorporar las causas históricas de la injusti-
cia y la violencia estructural en la reflexión crítica y, en particular, en la
praxis feminista. De esta manera, propondremos reparaciones que no sean
parches, ni sustitutos de la justicia, ni nos lleven a contribuir a sostener in-
voluntariamente los sistemas de violencia. Las lentes feministas requieren
una mirada histórica, procesual y relacional sobre los procesos de datafica-
ción y la incorporación de la mediación algorítmica y la inteligencia artificial
en la automatización de la vida social. Este enfoque histórico, procesual y

relacional implica incorporar las nociones de corresponsabilidad y afecto

Inteligencia Artificial Feminista
ZZ20 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

(Cortés et al., 2020) asociadas a los impactos negativos del desarrollo tec-
nológico. También significa emprender estrategias de empoderamiento co-
munitario para reclamar esta justicia a través de redes de solidaridad
transnacional entre comunidades vulneradas y agraviadas y comunidades
aliadas. Sin embargo, el eje de la lucha no está anclado en el acceso a la
justicia per se, sino en que el acceso permita un horizonte de autonomía
(Acevedo, 2021; Colectivo Disonancia, 2021) y una vida digna que contri-
buya a recuperar la posibilidad de tener un futuro en el planeta. Sin embar-
go, como la justicia requiere que los actores que actualmente concentran el
poder económico, político y social a nivel global asuman la responsabilidad
y las consecuencias de las decisiones que nos han conducido la crisis ac-
tual derivada de su modelo de desarrollo, el acceso a la justicia será siem-
pre un reclamo de los pueblos que han sido sistemáticamente negados. La
autonomía (Acevedo, 2021; Colectivo Disonancia, 2021) y la dignidad de-

ben ser alcanzadas en disputa con las fuerzas que buscan destruirlas.

La imaginación feminista y descolonial

La muerte de las personas defensoras de la tierra, el terrricidio, el
feminicidio, el lingúicidio, el epistemicidio, la persecución de inmigrantes y
refugiados, la discriminación de la diversidad en todas sus formas, la ex-
plotación laboral, están asociadas con el despliegue de sistemas inteligen-
tes en todo su ciclo de vida. ¿Cómo, entonces, lograremos la
justicia?¿Cómo erradicar las violencias en su multidimensionalidad? La
respuesta a estas preguntas no es sencilla. Sin embargo, las comunidades

de todo el mundo están tratando de buscar la justicia en sus propios térmi-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 22 1

Inteligencia artificial
y la imaginación feminista descolonial

nos, desarrollando la tecnología que necesitan, respondiendo a los intere-
ses de la comunidad y construyendo caminos hacia la autonomía y la vida
digna. Algunos ejemplos provienen de los feminismos, transfeminismos, fe-
minismos descoloniales y comunitarios. Otros provienen de las experien-

cias de los pueblos originarios alrededor del mundo.

IA transfeminista

Los interseccionales, decoloniales y ecofeminismos aportan herra-
mientas teóricas y metodológicas que permiten reflexionar sobre el sentido
de desarrollar iniciativas de inteligencia artificial considerando las asi-
metrías de poder y de género. Principios feministas para la recolección y
uso de datos (D'lgnazio y Klein, 2020), manifiestos feministas (Zaragoza y
Ahmatova 2018, Feminist Data Manifest-No), ecofeminismos que buscan
poner en el centro los valores de la sostenibilidad a la par de la búsqueda
de la equidad, imaginación radical tecnofeminista a través del juego, las
narrativas y la ficción especulativa, como en el El Oráculo para las tecno-
logías transfeministas (Varon y Constanza-Shock 2018) son solo algunos
ejemplos. Estas visiones provocadoras y clarividentes sobre la lA muestran
que si ampliamos la diversidad epistémica podremos imaginar y crear futu-

ros tecno-diversos y transfeministas.

Diversidad cultural y lingúística

Es bien sabido que el reconocimiento del habla y el procesamiento

del lenguaje natural no están disponibles o suficientemente desarrollados

Inteligencia Artificial Feminista
222 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

para otras lenguas que no sean el inglés. En todo el mundo, muchas co-
munidades no tienen el inglés u otras lenguas dominantes como lengua
materna. Para superar este déficit, el proyecto Papa Reol*9! ha desarrollado
una herramienta de transcripción automática del maoríl*0 que utiliza la API
de conversión de voz a texto para obtener la primera voz maorí sintetizada.
Como se indica en su sitio web, esta herramienta "proporciona el conjunto
de datos fundamentales para el proyecto Papa Reo", "una plataforma
lingúística multilingúe basada en el conocimiento y las formas de pensar
indígenas y potenciada por la ciencia de datos de vanguardia". Este pro-
yecto muestra cómo las tecnologías pueden desarrollarse para servir a las
necesidades de una comunidad específica. Este proyecto puede no intere-
sar a las grandes empresas tecnológicas, pero ofrece a la comunidad la

oportunidad de expresar su identidad y su sentido de pertenencia.

Gobernanza comunitaria

Formas de gobernanza comunitaria son ejemplos de alternativas pa-
ra la lA desde otros valores que no son los del mercado. Papa Reo busca
desarrollar una propuesta desde la comunidad para la comunidad. Este an-
claje en la comunidad implica que sus propuestas y su desarrollo responden
a las necesidades de esa comunidad. Es una propuesta tecnológica creada

en su idioma y con los valores que son importantes para su comunidad.

[89] https://papareo.nz/
[90] http://kaituhi.nz/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe ZE

Inteligencia artificial
y la imaginación feminista descolonial

Soberanía de datos

Papa Reo desarrolló su propia licencia de software, kaitiakitanga, de
acuerdo con los valores de la comunidad maorí. A diferencia del principio
de propiedad, que implica la apropiación desde una perspectiva privada o
comercial, la visión de la protección y custodia de datos implica que los da-
tos son un bien común de la comunidad y, por tanto, deben ser protegidos:

Te Hiku Media ha desarrollado una licencia Kaitiakitangal*!!, que
establece que los datos no son propiedad, sino que se cuidan bajo el prin-
cipio de kaitiakitanga y cualquier beneficio derivado de los datos fluye a la
fuente de los mismos. Kaitiakitanga es un principio que expresa la tutela y
no la propiedad de los datos. Los medios de comunicación de Te Hiku son
meros guardianes de los datos y tratan de garantizar que todas las decisio-
nes que se tomen sobre el uso de esos datos respeten su maná y el de las
personas de las que descienden.

Papa Reo forma parte de un movimiento de innovación indígena que
ha demostrado cómo contribuir desde diferentes cosmovisiones al desarro-
llo de la inteligencia artificial. Iniciativas similares promueven normas y pro-
tocolos basados en principios o metodologías indígenas que no implican

procesos o relaciones extractivas.

[91] https://papareo.nz/ifkaitiakitanga

Inteligencia Artificial Feminista
224 Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

Conclusión

En este ensayo, hemos discutido la limitación de desarrollar marcos
éticos que no pretenden cambiar las relaciones de poder. Los marcos éti-
cos deben considerar los impactos materiales e inmateriales diferenciados
para territorios y cuerpos específicos como consecuencia de la lógica sub-
yacente de los procesos históricos capitalistas, patriarcales y coloniales
asociados a los sistemas sociotécnicos. Los sistemas de IA dominantes
como construcciones sociotécnicas son instrumentos de la colonialidad del
poder, una relación entre conocimiento y poder, basada en la diferencia
ontológica y epistémica de los seres. Borrar la experiencia de la coloniali-
dad y sus impactos materiales e inmateriales sobre cuerpos, subjetividades
y territorios específicos, racializados, étnicos y de género, es una forma de
despolitizar la crítica decolonial. La descolonialidad como praxis requiere la
desvinculación de la colonialidad del poder: detener, desmantelar y reparar
el proceso histórico de despojo y violencia, el epistemicidio y la necropolíti-
ca como principios del modelo occidental hegemónico del mundo. A través
de la imaginación descolonial y feminista, exploramos las posibles formas
de descolonización de la inteligencia artificial hacia la construcción de futu-
ros tecnodiversos. Esta reflexión pretende pasar a la acción para revertir un
orden basado en la necropolítica sobre los cuerpos racializados, principal-

mente de las mujeres, y la destrucción de nuestros entornos de vida.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 225

226

Inteligencia artificial
y la imaginación feminista descolonial

REFERENCIAS

Acevedo, S. (2021). El horizonte de la autonomía (Tesis de maestría). Universidad
Autónoma Metropolitana. Unidad Xochimilco.
https://repositorio.xoc.uam.mx/jspui/handle/123456789/23274

Adams, R. (2022). Diseño de un índice global basado en derechos sobre lA
responsable. En: Ricaurte, P., 8 Zasso, M. R. (Eds.) Inteligencia artificial
feminista hacia una agenda de investigación en América Latina y el Caribe.
México: Tecnológico de Monterrey y Red f<a+i>r.

Aguilar, Y. E. (2022). La lengua como territorio cognitivo y su relación con
concepciones tecnológicas. En: Ricaurte, P., « Zasso, M. R. (Eds.)
Inteligencia artificial feminista hacia una agenda de investigación en América
Latina y El Caribe. México: Tecnológico de Monterrey y Red f<a+i>r.

Benjamin, R. (2019). Race after technology: Abolitionist tools for the new jim code.
Cambridge: Polity.

Benjamin, R. (2016). Catching our breath: Critical race STS and the carceral
imagination. Engaging Science, Technology, and Society 2: 145-156. DOI:
10.17351/ests2016.70

Bruno, F. (2021). F*Fail tecnología y política: Pensar y crear mundos a partir de sus
fallas y ruinas. Medialab UFRJ.

https://fail.medialabufrj.net/es/_fail-sobre/

Cave, S., 8 Dihal, K. (2020). The whiteness of Al. Philosophy € Technology, 33(4),
685-703.

Colectivo Disonancia. (2021). Autonomía Tecnológica.
colectivodisonancia.net/autonomia

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Inteligencia artificial
y la imaginación feminista descolonial

Costanza-Chock, S. (2018). Design Justice, A.!., and Escape from the Matrix of
Domination. Journal of Design and Science.
https: //jods.mitpress.mit.edu/pub/costanza-chock/release/4

Cortés, N.; Jes, La; Pérez, L. et al. (2020). Tecnoafecciones: Hacia una política de
la corresponsabilidad. México: Instituto de Liderazgo Simone de Beauvoir.
https://11601809.us.archive.org/28/items/tecnoafecciones-web/Tecnoafecciones_web.pdf

Díaz, T. (2022). Alexa, amenyi. Algunas consideraciones sobre la inclusión de las
lenguas indígenas en las tecnologías del habla. En: Ricaurte, P., 8 Zasso, M.
R. (Eds.) Inteligencia artificial feminista hacia una agenda de investigación en
América Latina y el Caribe. México: Tecnológico de Monterrey y Red f<a+i>r.

D'Ignazio, C., 8 Klein, L. (2020). Data feminism. Cambridge: MIT Press.

Feminist Data Manifest-No. (s.f.) Feminist Data Manifest-No.
www.manifestno.com

HRW - Human Rights Watch. (2021). Killer robots: Negotiate new law to protect
humanity.
www.hrw.org/news/2021/12/01/killer-robots-negotiate-new-law-protect-humanity

Jobin, A.; lenca, M. 8 Vayena, E. (2019). The global landscape of Al ethics
guidelines. Nature Machine Intelligence 1(9): 389-399.

Mhlambi, S. (2020). From rationality to relationality: Ubuntu as an ethical and human
rights framework for artificial intelligence governance. Carr Center for Human
Rights Policy Discussion Paper Series, 9.
https://carrcenter.hks.harvard.edu/publications/rationality-relationality-ubuntu-ethical-and-
human-rights-framework-artificialy

Ndlovu-Gatsheni, S. (2020). Decolonization, decoloniality, and the future of African
studies: A conversation with Dr. Sabelo Ndlovu-Gatsheni /Entrevistado por
Duncan Omanga. ltems - Insights from the Social Sciences.
items.ssrc.org/from-our-programs/decolonization-decoloniality-and-the-future-of-african-
studies-a-conversation-with-dr-sabelo-ndlovu-gatsheni

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 227

Inteligencia artificial
y la imaginación feminista descolonial

Noble, S. U. (2018). Algorithms of oppression. New York: New York University

Press.

Organización para la Cooperación y el Desarrollo Económicos. (2019). Al

Principles. Al Policy Observatory.
https://0ecd.ai/en/ai-principles/

Peña, P. (2020) Bigger, more, better, faster: The ecological paradox of digital
economies. In: Technology, the environment and a Sustainable World.

GISWatch Report.
https: //giswatch.org/node/6245

Peña, P. 8 Varon, J. (2021). Not My Al.
https://notmy.ai/

Quijano, A. (2000). Coloniality of power and eurocentrism in Latin America.

International Sociology, 15(2): 215-232.
https://doi.org/10.1177/0268580900015002005

Quijano, A. (2007). Coloniality and modernity/rationality. Cultural Studies, 21(2-3):

168-178.
https://doi.org/10.1080/09502380601164353

Raval, N. (2020). Platform-living: Theorizing life, work and ethical living after the gig
economy. [Tesis doctoral.] Irvine, CA: University of California.

https://escholarship.org/uc/item/4qc0x3mw

Ricaurte, P. (2019). Data epistemologies, the coloniality of power and resistance.

Television 8. New Media 20(4): 350-365.
https://doi.org/10.1177/1527476419831640

Ricaurte, P. (2022). Ethics for the majority world: Al and the question of violence at

scale. Media, Culture 8. Society, 44(4), 726-745.
https://doi.org/10.1177/01634437221099612

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

228

Inteligencia artificial
y la imaginación feminista descolonial

Ricaurte, P., 8 Ciacci, J. (2020). Technology for life: Resistance from Indigenous
and urban communities in Mexico. In: Technology, the environment and a
Sustainable World. GISWatch Report.
https: //giswatch.org/node/6235

Rolnik, S. (2019). Esferas de la insurrección. Apuntes para descolonizar el
inconsciente. Buenos Aires: Tinta Limón.

de Sousa Santos, B (2016). Epistemologies of the South: Justice Against
Epistemicide. New York, NY: Routledge.

Trejo, S. (2022). Entre la técnica y la práctica. En: Ricaurte, P., 4 Zasso, M. R.
(Eds.) Inteligencia artificial feminista hacia una agenda de investigación en
América Latina y el Caribe. México: Tecnológico de Monterrey y Red f<a+i¡>r.

UNESCO. (2021). Recommendation on the ethics of artificial intelligence.

https://en.unesco.org/artificial-intelligence/ethics

Varon, J. 4 Constanza-Shock, S. (2018). The oracle for transfeminist technologies.
www.transfeministech.codingrights.org

Zaragoza, L. 84 Ahmatova, A. (2018). Manifiesto por algoritmias hackfeministas.
GenderlT

genderit.org/es/articles/edicion-especial-manifiesto-por-algoritmias-hackfeministas

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 229

lA y el futuro de la
humanidad:

una perspectiva del budismol?2] Soraj Hongladarom

Universidad de Chulalongkorn
Tailandia

Antes de todo, quiero agradecer a la universidad Chulalongkorn, en donde
he trabajado por más de 30 años, por invitarme a dar una charla sobre este
tema tan oportuno. El tema es el futuro, y sobre el papel que juega la lA en
ese futuro. ¿Y qué es lo que más me gusta del título? Es que este no es mi
título. Este es el título que me propusieron, que me propuso la universidad,
y yo dije, “está bien”. Dijeron, "a lo mejor te diste cuenta", de que pusieron
una forma plural de la palabra futuro. Entonces, "futuros de la humanidad",
lo que implica, por supuesto, que hay varios futuros. Soy de filosofía y yo
enseño lógica. Así que eso me distrajo: ¿por qué pusieron la palabra futuro
en forma plural? Presumiblemente, imaginan que podría haber varios

futuros. Pero, lógicamente hablando, no puede haber más de un futuro,

[92] Esta ponencia fue presentada en línea por el profesor Dr. Soraj Hongladarom, líder del hub del Sudeste Asiático de la red f<a+i>r,
durante la Semana de Alfabetización Chula Futures de la Universidad de Chulalongkorn, Bangkok, Tailandia, realizada entre febrero y
marzo del 2022. La sesión fue moderada por el profesor Dr. Leonard Chrysostomos Epafras, de la Universitas Kristen Duta Wacana y
el Consorcio de Estudios Religiosos de Indonesia (ICRS), Yogyakarta, Indonesia. Reproducimos acá, traducida al español, su
presentación sobre la inteligencia artificial y los futuros de la humanidad desde una perspectiva del budismo, en la cual argumenta
sobre la urgencia de pensarmos, colectiva y sistemáticamente, sobre el futuro y sobre todo sobre el papel que juega la lA en el futuro
de la humanidad. La charla ha sido ligeramente editada para fines de claridad. Se puede consultar la grabación de la conferencia aquí:
https://www.youtube.com/watch?v=xNonD2QglUc (N. de las Eds.)

Inteligencia Artificial Feminista
230 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

porque cuando llegue el momento, no nos estamos ramificando en ningún
lado, estamos viviendo en este mundo, y nos guste o no, nos quedaremos
atrapados en este mundo. Ese será el único mundo real. Es diferente a las
películas de ciencia ficción, donde podemos retroceder en el tiempo y cam-
biar el futuro. Sin embargo, esto nos da una advertencia o algo en lo que
debemos pensar. Porque, de veras, solo hay un futuro. Así es que de-
bemos hacerlo lo mejor que podamos hacer. Cuando se trata de un futuro,
hay una posibilidad, por supuesto, por eso pusieron el plural de “futuros” en
el título. Podríamos pensar en lo que podría pasar dentro de 10 o 20 años,
hay varias posibilidades. Aunque, cuando hayan llegado los 20 años, será
únicamente uno. Entonces, está abierto, el camino siempre está abierto,
ahora mismo, para trazar nuestro curso para el futuro. Creo que eso es im-
portante. Creo que esa es la razón principal por la que la UNESCO y la
Universidad de Chulalongkorn han organizado esta semana de alfabetiza-
ción sobre futuros.

Creo que podemos pasar un tiempo hablando de por qué necesita-
mos hablar sobre el futuro. Luego, sobre qué papel juega la lA en nuestro
futuro. No el futuro de la Al, el nuestro, los seres humanos. El futuro para
nosotros, los seres humanos. ¿Y qué tipo de papel juega la lA en nuestro fu-
turo? Y qué debemos hacer para que nuestro futuro, es decir, nuestra posi-
bilidad, el futuro que ahora mismo existe como posibilidad, se haga realidad.

Y luego hablaré de un proyecto, un proyecto fascinante, del que ten-
go el honor de ser parte. El proyecto sobre la incubación de la lA feminista
ilustra claramente lo que debemos hacer para imaginar el tipo de lA que

existirá dentro de nuestro futuro, no el futuro de la Al. Finalmente, de cómo

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 23 1

lA y el futuro de la humanidad:
una perspectiva del budismo

pueden ayudar las ideas obtenidas de la filosofía budista, el tema de mi
libro que se publicó en 2020. Entonces, sigamos adelante.

¿Por qué tenemos que hablar del futuro? Bueno, antes de pasar a hab-
lar sobre la lA, la ética de la lA, la ética budista y la lA, etc., dado que esto es
parte de la semana de la alfabetización sobre futuro, creo que nuestra charla
puede contribuir al evento principal dedicando algún tiempo sobre por qué ha-
blar del futuro ha adquirido cierta importancia. Tanto es así que la UNESCO y
Chula han invertido tiempo y esfuerzo en la organización de estas actividades.

Hay una enseñanza en el budismo de que no debemos preocuparnos
demasiado por el futuro. En su lugar, deberíamos preocuparnos más del pre-
sente. La idea es ser consciente del presente, ser consciente de lo que está
sucediendo en este momento y no preocuparse demasiado por el futuro. Hay
mucho de verdad en esa enseñanza. Sin embargo, tal vez eso no descarte la
necesidad de que debamos pensar en el futuro, de alguna manera, de una
forma u otra. La razón de esto es que necesitamos entender qué tipo de
consecuencia traerá nuestra acción actual. Hacia nosotros mismos, hacia
nuestro yo futuro, ya que probablemente la mayoría de nosotros todavía
vivirá dentro de 10 o 20 o 25 años. Y cualquier cosa que estemos haciendo,
o cualquier decisión que estemos tomando en este momento, tendrá conse-
cuencias en el futuro lejano. Y estaremos entre los que se verán afectados
por esas decisiones. Sin mencionar a nuestros descendientes, hijas e hijos,
nietas y nietos. Si pensamos en el futuro en muchos años después del año
actual, 2022, ahora mismo, esa es una respuesta obvia a la pregunta de por
qué necesitamos hablar sobre el futuro. Y desde luego, no es sólo pura

especulación.

Inteligencia Artificial Feminista
232 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

No estamos hablando del futuro como los adivinos o los astrólogos,
que a lo mejor nos quieren decir que el próximo año pasará esto o aquello,
que en el 2025 pasará esto o aquello. No nos preocupa eso, nos preocupan
los efectos que podría traer nuestra acción actual. ¿Y por qué es importante
en términos de nuestras políticas, nuestras actitudes hacia la IA? Es que la
IA es una tecnología tan poderosa, es una tecnología tan transformadora, y
está siendo desarrollada a un ritmo muy rápido por laboratorios de todo el
mundo. Las naciones compiten entre sí para crear los últimos avances en
IA. Y estamos realmente, literalmente, en la encrucijada. El futuro podría ir
hacia la izquierda o hacia la derecha, hacia delante, hacia arriba o hacia
abajo. Depende de nuestras acciones en este momento. Por eso creo que
esta actividad, donde nos reunimos para hablar sobre nuestro futuro como
resultado, ha adquirido mucha importancia.

Entonces, estoy muy interesado en esta forma plural. ¿Futuro o futu-
ros? A veces deseo poder tener muchas vidas. Quisiera poder ramificarme,
por así decirlo, y vivir en varios futuros alternativos o universos paralelos. Por
ejemplo, en el futuro, tal vez mañana, podría ir al futuro número uno, al futuro
número dos o al futuro número tres. Y luego, experimentar lo que haya para
experimentar, en cada uno de estos futuros. Pero todo lo que podemos ha-
cer, por supuesto, es imaginar cómo sería. Asimismo, el futuro real se con-
vertirá en nuestra actualidad, nuestra experiencia elevadora, que solo
podemos experimentar a través de nuestros sentidos. Y las posibilidades se
volverán, así, solo posibilidades. Pero no es como lo que nos dicen los adivi-

nos.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 233

lA y el futuro de la humanidad:
una perspectiva del budismo

Es fascinante hablar sobre el futuro. Pero debemos ser conscientes de
que podemos hablar de futuros de manera más sistemática. De tal manera
que tengamos respaldos, tengamos evidencia científica, tengamos hallazgos
de investigación para respaldar nuestra conclusión. Por ejemplo, el cambio
climático. Llevamos décadas hablando del cambio climático. Los efectos que
los científicos nos advirtieron hace dos o tres décadas que sucederían están
sucediendo ahora mismo. Así que estamos experimentando, estamos vivien-
do, en efecto, en el futuro que los científicos, hace unos 20 años, 30 años,
nos advirtieron. Y lo estamos viviendo, estamos experimentando las conse-
cuencias de nuestras acciones en el pasado ahora mismo. Y podemos imagi-

nar lo que sucedería en el futuro, visto desde nuestra perspectiva de 2022.

¿Realmente tenemos un futuro?

Esto suena como una pregunta pesimista, pero no quiero que el tono
de mi charla sea pesimista, es decir, yo no soy una persona pesimista en
absoluto. Los que me conocen a mí o a mis palabras lo sabrán: al contrario,
pertenezco al otro campo. Pero la pregunta se ha vuelto importante porque,
en este momento, hay una gran guerra en marcha. Nadie sabe qué tipo de
resultado sucederá. Quiero decir, todas las guerras son así, nadie puede
predecir los resultados de ninguna guerra. Siempre hay muchas posibilida-
des e inseguridad, en el sentido de que no se puede predecir con detalle el
resultado de una guerra cuando se está librando. Es posible que uno pueda
predecir en términos generales, a largo plazo, considerando la cantidad de
recursos que tienen las dos partes. Pero cuando las dos partes comienzan

a comprometerse, son muchas las posibilidades.

Inteligencia Artificial Feminista
234 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

En cualquier caso, cuando hay una gran guerra, como ahora, que
todo el mundo conoce, entre Ucrania y Rusia, surge esta pregunta. Quiero
decir, ¿realmente tenemos un futuro cuando un lado tiene una gran canti-
dad de arsenal nuclear? Y el otro lado, a pesar de que no son parte del
conflicto, están viendo muy de cerca sus desarrollos. Así que el viejo miedo
que la gente tenía en los años posteriores a la Segunda Guerra Mundial, a
las guerras nucleares y cosas por el estilo, ha regresado. El viejo miedo a
las guerras y la gente protegiéndose ha vuelto. Quiero decir, es muy rápido,
el año acaba de comenzar, el otro día, y muchos acontecimientos en el
mundo ocurrieron solo durante estos pocos días después de que estalló la
guerra. Así que esta pregunta ha llegado a tener cierta importancia.

Estos dos líderes políticos [Vladimir Putin y Volodímir Zelenski, líderes
de Rusia y Ucrania respectivamente] hacen referencia a un evento mundial
que tiene mucho que ver con nuestros nuevos pensamientos, especulaciones
y pensamientos sobre el futuro. Cuando hablamos del futuro, y esta es una
forma muy cruda de dividir las actitudes hacia el futuro, están los utópicos y
los distópicos, el optimismo y el pesimismo. Ninguno de los dos lados tiene
razón. La verdad suele ser una mezcla de las dos posiciones. Pero esas dos
posiciones al menos reflejan nuestras actitudes. No estamos hablando de lo
que realmente sucederá. Hablamos de nuestras actitudes hacia el futuro. Po-
demos estar en el lado utópico y podríamos estar entre los que están en el la-
do distópico. Estas actitudes también entran en juego cuando hablamos de lA.

Entonces, para abreviar, debemos hablar sobre el futuro porque ne-
cesitamos saber lo que debemos hacer ahora mismo. Entonces, como dije,

esto se ha vuelto crítico, estamos en una encrucijada importante.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 235

lA y el futuro de la humanidad:
una perspectiva del budismo

La lA y nuestro(s) futuro(s)

Como decía, está la banda utópica y está la banda distópica. El lado
utópico diría “ah, la IA es una panacea. La lA nos está ayudando de mu-
chas, muchas maneras. La lA nos está aliviando de todo tipo de cargas, por
lo que ya no necesitamos esforzarnos, ni trabajar duro”. Estoy hablando de
actitudes muy crudas hacia la lA y nuestro futuro. Los utópicos creen en el
tremendo poder de la |A para ayudarnos en muchos tipos de actividades.
Sin embargo, están los distópicos, que han destacado, en muchos casos
con razón, los peligros de la lA. Por ejemplo, hablan de que la lA nos quita
el trabajo, dejándonos sin empleo y con inseguridad económica y sin nin-
guna injerencia sobre lo que nos sucederá. Muchos estudiosos, muchos
científicos, han predicho que la |A podría volverse consciente. Que la lA
podría convertirse en lo que ellos llaman “inteligencia artificial general”
(AGl), en el sentido de que entienda los significados del lenguaje y tenga
representaciones internas. Todo tipo de cosas que nos han distinguido a
nosotros, los seres humanos, de todo lo demás en el universo. Esa carac-
terística definitoria de la humanidad parece convertirse rápidamente en una
característica definitoria de la lA también.

Entonces, entre los distópicos, el temor es que la lA no solo se esté
haciendo cargo de nuestros trabajos, sino que la lA parece estar apoderán-
dose también de nosotros mismos. Podría convertirse, en palabras de Nick
Bostrom, en una superinteligencia. Cuando llegue ese momento, depende
de la lA dónde quieran ubicarnos. Es posible que quieran preservarnos y
ponernos en una especie de zona especial para los seres humanos. No tan

malo como los campos de concentración, pero algunos tipos de tierra don-

Inteligencia Artificial Feminista
236 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

de podemos vivir, y nos dejan solos. Entretanto, las lA se encargarían de
los asuntos del mundo por sí mismas. O a lo mejor podrían querer eliminar-
nos a todos juntos, esa también es una posibilidad.

Justo he visto una noticia que dice que los científicos han descubier-
to que la lA ha comenzado a poseer algunas indicaciones, algunas indica-
ciones tempranas, de ser consciente. No sé si esa noticia se puede verificar
o no, pero según muchos científicos, entre ellos destacados y famosos, co-
mo Nick Bostrom, la lA podría reemplazar, o efectivamente lo hará, a los
seres humanos como el organismo dominante en el universo o en el mun-
do. Esos son unos futuros que se crean a partir de ahora. Ese es precisa-
mente el tema que estamos viendo ahora mismo, la lA y nuestro futuro o
futuros, si es que no nos hemos destruido a nosotros mismos antes, a
través de las guerras y a través de las bombas nucleares y demás.

En este momento, tenemos el lado utópico, y muchas personas del
lado utópico dirían algo como “es improbable” o “es muy poco factible”. Y
algunos científicos prominentes también están diciendo esto, que la lA
podría volverse completamente consciente y que tomará nuestro lugar, co-
mo he dicho. Es más probable que la lA se vuelva algo como nuestros ami-
gos y nuestros sirvientes, y que siga trabajando con nosotros. Como dije
antes, depende de nosotros en este momento, de nuestra acción colectiva,
en este momento crítico. Si este o aquel escenario para el futuro podría su-
ceder, depende de nuestras acciones. Si la lA podría volverse super inteli-
gente y buena, o si la lA nos colocará en un zoológico, o si la lA podría
convertirse en nuestro aliado y continuar colaborando, para trabajar con

nosotros en el futuro.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 237

lA y el futuro de la humanidad:
una perspectiva del budismo

Entonces, he resumido aquí algunos posibles futuros de la lA. He
hablado sobre AGI, inteligencia artificial y súper inteligencia, el tipo de lA
que es completamente consciente. También que la lA está amenazando
nuestros trabajos. Los vehículos autónomos se están desarrollando en mu-
chos países del oeste y es solo cuestión de tiempo que estos vehículos lle-
guen a Tailandia, Indonesia o Malasia. Entonces, debemos pensar qué tipo
de guía, qué tipo de regulaciones y qué tipo de roles jugarán estos
vehículos autónomos en nuestras vidas y en nuestras sociedades.

Por supuesto, también se están desarrollando sistemas de armas
autónomos. Existe un debate sobre si se debe permitir que estos sistemas
de armas desempeñen un papel en el combate real. Por lo que he recopila-
do de la guerra entre Rusia y Ucrania, todavía no hay noticias sobre el des-
pliegue de sistemas de armas autónomas, pero en el futuro, ¿quién sabe?
Si es que hay un futuro.

Sin embargo, el debate es algo así: por un lado, deberíamos consi-
derar una lA que procese el poder letal, o una lA que controle los sistemas
de armas, como algo que deberíamos prohibir por completo. El mismo tipo
de actitud que tenemos actualmente con las armas biológicas y las armas
químicas porque son demasiado peligrosas. Porque no queremos que la lA
se prenda, por así decirlo, y dispare a la gente. Sin embargo, algunos pien-
san que quizás, quizás, la lA debería desempeñar un papel bastante limita-
do en el control de los sistemas de armas, porque cuando miras qué tan
rápido vuelan los aviones de guerra modernos y qué tan rápido funcionan
estos sistemas de armas, en muchos casos es demasiado rápido para que

un ser humano normal se ajuste. Aunque ese ser humano sea un soldado

Inteligencia Artificial Feminista
238 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

entrenado. Entonces, la lA podría entrar en este punto para ayudar a los
soldados humanos a tomar sus decisiones. Pero la decisión, al final, debe
pertenecer al comandante humano. Ese es un argumento a favor de un pa-
pel más limitado para los sistemas autónomos. Pero resalta mi punto: esta-
mos ahora mismo en la encrucijada y cualquier decisión que tomemos
ahora tendrá consecuencias. Consecuencias serias, muy graves, en un fu-
turo lejano. Además, también tenemos lA en recursos humanos, como
cuando se desea contratar a una nueva persona para un puesto. Muchas
empresas ya lo están haciendo con lA. Usan lA para analizar carteras y
otras formas de información y la lA sugiere si se debe contratar o no a una
persona. Entonces, ¿queremos que nuestro futuro como empleados de tal
o cual empresa lo decida una lA? También hay lA en las inversiones. La lA
se utiliza para decidir qué forma de inversión es la mejor para el inversor,
utilizando algún tipo de algoritmo. Entonces, en lugar de seres humanos, se
está utilizando la lA para decidir nuestra inversión por nosotros. Y está, por
supuesto, la lA en la ley. La IA está trabajando como juez en China. Hay
evidencia e informes de noticias provenientes de China, de que ahí la Al se
utiliza para analizar varios documentos legales. Y también en la educación,
y así sucesivamente.

Estos futuros, algunos de ellos son el presente, apuntan a los roles
cada vez más generalizados que la lA está desempeñando en nuestras vi-
das. Entonces, esto me preocupa: ¿la lA asumirá el trabajo de los profeso-
res de filosofía? No sé. Yo no lo quiero, no. O tal vez. Quiero decir, la Al
ahora ya puede escribir en un artículo científico. Es capaz de presentar una

conferencia. Eso es, al menos para mí, una especie de amenaza directa.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 239

lA y el futuro de la humanidad:
una perspectiva del budismo

Pero, ¿qué debemos hacer? Quizás podamos seguir encontrando, o
sugiriendo, respuestas a esta pregunta en el período de preguntas y res-
puestas. Sin embargo, sugeriría que eliminar la IA no es una opción. Digo
esto porque la lA está demasiado arraigada. La tecnología está demasiado
cerca de nosotros y muchas industrias ya confían demasiado en la lA. En-
tonces, prohibir por completo la lA no es factible, no es realista. Así, lo que
debemos hacer es asegurarnos de que el tipo de lA con la que viviremos
sea del tipo dócil y amigable con nosotros, y no una que trate de destruir-
nos por completo como especie. O de destruir incluso todo el entorno en el
que vivimos. Por lo tanto, necesitamos una forma de vivir con lA. Esto sig-
nifica que debe haber sistemas de regulación robustos y formas sistemáti-
cas, exigibles y efectivas para canalizar su poder. Y este debe ser un
esfuerzo global coordinado por todas las partes interesadas en todo el
mundo. No puede ser prerrogativa de ningún país en particular porque la lA

parece estar omnipresente en todas partes.

Alianza A+ para algoritmos inclusivos: una visión para el

futuro

Tengo la suerte de ser parte de esta coalición llamada A+ Alliance
for Inclusive Algorithmsl?%1. Hay un grupo de la academia y activistas e inte-
grantes de organizaciones de la sociedad civil de todo el mundo y compar-

timos este objetivo común de buscar el papel que debe desempeñar la lA

[93] https://aplusalliance.org/

Inteligencia Artificial Feminista
240 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

para ser nuestra aliada, por así decirlo, y no nuestra enemiga. Tenemos
muchas actividades, y estoy planteando esto para mostrar que esta es una
visión para el futuro. Representa un intento entre muchos, ya que hay mu-
chas otras redes, de canalizar, de poner a la lA a trabajar para nosotros, en
el momento en que todavía es posible poner a la lA a trabajar para noso-
tros, porque todavía está en proceso de desarrollo. La red se centra en un
futuro digital libre, feminista e inclusivo. Y notarán que este futuro hace eco
muy bien con nuestra charla de hoy.

Esto también es del mismo sitio web, de la red f<a+i>r: “Creemos
que es necesario contemplar nuevos sistemas y estructuras para la lA para
los tiempos venideros”. Y para la gobernanza de la lA y para el tipo de en-
torno, para la estructura contextual que rodea a la lA, que será necesaria
para los tiempos que se avecinan. “Los tiempos venideros”, estamos ha-
blando del futuro. Entonces, el proyecto se llama "Incubando lA feminista".
Este es nuestro objetivo, el poder de la lA debe aprovecharse para que sea
una fuerza para el bien, creando una sociedad más igualitaria. Pero, ¿có-
mo? Ese es el desafío. Por eso me siento honrado de ser parte de eso, y
pensar cómo aprovechar, cómo programar o cómo hacer cosas con lA de

tal manera que pueda convertirse en una fuerza para el bien.

Una lA ética

Al contrario de lo que dicen otros académicos, que la |A siempre se
convertirá en nuestro enemigo, yo creo, y muchos de mis colegas creen,
que es posible que la lA se convierta en una fuerza para el bien. Lo cree-

mos porque la lA, después de todo, es ahora solo una pieza de software de

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 24 1

lA y el futuro de la humanidad:
una perspectiva del budismo

algoritmo. Muy, muy poderosa, sí, pero solo una pieza de software. Enton-
ces, todavía es viable, todavía está en el proceso en el que podemos mol-
dearlo en algo que esté de acuerdo con nuestros valores y objetivos.

El subtítulo de la charla es “una perspectiva desde el budismo” y es-
to viene del libro mencionado anteriormente. Primero, el budismo propor-
ciona un análisis ético, pero no tengo tiempo para hablar sobre todo el
sistema de ética en el budismo, solo que este proporciona una alternativa y,
en algunos casos, una mejor alternativa que las formas occidentales de
analizar problemas éticos. Entonces, la filosofía budista proporciona una
nueva forma de pensar sobre los efectos de la lA. Una que se centra en la
excelencia, en lo mejor que puede ser la lA. No se trata únicamente del as-
pecto técnico, sino que es una combinación de los aspectos técnicos y éti-
cos. Para que los aspectos éticos y técnicos de la lA se conviertan en uno
mismo, inseparables. Entonces, la excelencia está ligada a nuestros valo-
res y objetivos deseados. Temas como la felicidad floreciente, la inclusión,
la igualdad, etc, comprenden las nociones dentro de las cuales entendemos
qué significa realmente la excelencia en este contexto. Ese sería un breve
resumen de mi libro.

Para concluir, no necesitamos enfrentarnos a la lA en el futuro. La lA
no tiene por qué ser nuestra enemiga. Pero debemos actuar en conjunto
ahora. Debemos encontrar formas de crear el tipo de lA que se alinee con
nuestros valores. Aunque las lA no piensan como nosotros porque, des-
pués de todo, se basan en algoritmos y pensamiento binario, y sus cere-
bros están hechos de silicio, esto no implica necesariamente que serán

nuestras enemigas. No existe una conexión necesaria entre el hecho de

Inteligencia Artificial Feminista
242 Hacia una agenda de investigación en América Latina y el Caribe

lA y el futuro de la humanidad:
una perspectiva del budismo

que la lA no piensa como nosotros y la idea de que deban ser nuestros
enemigos, simplemente no existe una conexión lógica. Por lo tanto, debe-
mos hacerles comprender que para lograr la excelencia, la lA debe ser éti-
ca, es decir, una combinación de aspectos técnicos y éticos entre los

cuales, como mencioné anteriormente, no hay separación.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 243

Reflexiones feministas

sobre la economía de

plataformas o que el

algoritmo no controle tu Kruskaya Hidalgo Cordero
humanidad Observatorio de Plataformas

Ecuador

Caminaba cuesta abajo, rápido y tratando de buscar algo de sombra. Era
uno de esos días que en Quito el sol es tan fuerte que duele la piel. Mien-
tras iba ensimismada en mis pensamientos escucho la voz de una mujer
diciendo mi nombre. Alcé la mirada y vi a Yorya, una compañera migrante
trabajadora de Rappi saludándome mientras detenía su bicicleta. Nos
abrazamos rápidamente porque ella llevaba un pedido y cada minuto
cuenta en el trabajo de reparto con apps. Vi a Yorya partir, esforzándose
por subir en bicicleta esa calle tan empinada mientras cargaba esa mochila
tomate. ¡Sí que hacía sol! Y ella iba toda tapada para no quemarse la piel
trabajando tantas horas en la calle.

Conocí a Yorya en julio de 2020. Una trabajadora de plataformas di-
gitales, migrante venezolana, que trabajaba repartiendo por las calles de
Quito mientras su embarazo avanzaba. Fue el primer caso que acompaña-
mos desde el Observatorio de Plataformas de esta índole, donde la inter-

seccionalidad de la economía de plataformas era tan evidente y a la vez tan

Inteligencia Artificial Feminista
244 Hacia una agenda de investigación en América Latina y el Caribe

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

compleja: precarización, género, migración, maternidad, salud, regulariza-
ción. Sobre eso quiero reflexionar en estas líneas, de la importancia, pero
sobre todo de la urgencia, de llevar análisis feministas interseccionales a
los debates de la gig economy. De problematizar desde la mano de obra
que sostiene estos modelos de trabajo hasta los impactos en los cuerpos y
territorios a causa de su cadena de producción; del trabajo de cuidados y el
acoso sexual; de la algortimización del trabajo y la desregularización de
mercados; de la creación de consumos y creación de subjetividades; las
narrativas dominantes y la falacia de la economía colaborativa a la que
estas empresas tratan de adherirse. Independientemente de si hablamos
de plataformas digitales de geolocalización o de audiencias geográfica-
mente dispersas —también llamadas crowdwork (OIT, 2018)- es fundamen-
tal disputar las narrativas y visibilizar que la explotación y precarización que
estos modelos de negocio generan tienen rostros específicos.

Llegué al tema de plataformas digitales de reparto en 2019 y desde
2020 he creado un proyecto/colectivo de incidencia sobre la situación que
viven las personas trabajadoras de reparto y conducción con apps en
Ecuador, llamado Observatorio de Plataformas. Desde que inicié los prime-
ros mapeos sobre la caracterización socioeconómica de las personas tra-
bajadoras de reparto en Ecuador, tuve la intuición que el tema migratorio
jugaba un eje fundamental. Luego mis sospechas se confirmaron cuando,
en 2020, varios mapeos a nivel regional demostraron que gran parte de la
fuerza de trabajo dentro de estas plataformas era migrante. Hago referencia
a los casos de Colombia (Jaramillo, 2020), Perú (Dinegro, 2020), Argentina,

Chile (Morales, 2020) y Ecuador (Hidalgo, 2020a), donde las personas tra-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 245

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

bajadoras además de ser mayoritariamente migrantes, eran venezolanas. Y
en los países donde no lo eran, como en Brasil, la mayoría de las personas
trabajadoras de plataformas son afrobrasileñas. (Abilio et al., 2020) ¿Qué
implicaciones tiene para América Latina que la fuerza de trabajo de plata-
formas digitales de reparto sea sostenida por gente migrante y racializada?
Queda claro que la división internacional, racial, sexual y geográfica
del trabajo no es ajena a la gig economy. El trabajo es subcontratado y
tercerizado dentro de estas plataformas por empresas del Norte global y
realizado por personas del Sur global. Por otra parte, la producción de ma-
nufactura tecnológica se realiza mayoritariamente en países del Sur global
donde se paga a quienes elaboran estos equipos y repuestos precios irri-
sorios — siendo las mujeres la mano de obra mayoritaria en la producción
de esta manufactura. Como afirma Lisa Nakamura “[el] trabajo femenino
barato es el motor que impulsa internet”. (2015) Es decir, la producción tec-
nológica y el trabajo operativo de estas empresas de plataformas digitales
es realizada por fuerza de trabajo racializada, feminizada y precarizada.
Pero, además, dentro de estos debates es apremiante problematizar cómo
la producción tecnológica genera un impacto negativo para la naturaleza y
para las comunidades que viven en los territorios de donde se sacan los
recursos naturales. Minería a gran escala, racismo ambiental, contamina-
ción por desechos electrónico-tóxicos son algunos de los elementos para
continuar esta conversación, que como sabemos, afectan en mayor grado

al Sur global.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 246

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

Xk*x*

En los últimos años “pedir un Uber” o “pedir comida por la aplicación”
se ha vuelto parte de nuestra cotidianidad. Estas aplicaciones de transporte
y reparto son visibles, la gente que trabaja en ellas recorre las ciudades de
nuestros países todos los días. De manera reciente, estudios, documenta-
les y paros internacionales se han desarrollado para problematizar las im-
plicaciones que tienen estos modelos de negocio. Ahora sabemos que las
personas que trabajan en estas aplicaciones no tienen contratos laborales,
no cuentan con seguridad social, no reciben un salario básico por su traba-
jo. También sabemos que la gente que trabaja en apps de transporte y re-
parto trabajan más de 12 horas al día, 7 días a la semana. Con hashtags
como F+EnTuPedidoVaMiVida, las organizaciones de trabajadores de repar-
to en toda América Latina han denunciado como arriesgan su vida cada día
durante su trabajo. Si tienen accidentes de tránsito, las empresas de apps
no les cubren los gastos médicos, no indemnizan a sus familias en caso de
muerte y deshumanizan a tal punto a la persona trabajadora que cuando
sufre un accidente les preguntan cómo se encuentra el pedido y a qué hora
irán a entregarlo a destino, en vez de preocuparse por su salud.

Las aplicaciones de reparto y transporte como Uber, Lyft, Cabify,
Pedidos Ya, InDriver, Rappi, Didi organizan el trabajo mediante algoritmos.
Esto quiere decir que generan sistemas de puntuación para que clientes y
establecimientos/negocios califiquen a las personas trabajadoras. A través
de estas calificaciones, se asignan pedidos y carreras a las personas re-
partidoras y conductoras. Además, el control del trabajo se da por GPS,

delimitando las rutas que deben tomar. Esta forma de organización atomiza

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 247

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

las relaciones laborales, porque ya no queda claro quién evalúa tu trabajo,
ya no hay un departamento de recursos humanos, no tienes un lugar de
encuentro con tus compañeras de trabajo para organizarte y en sí, la
relación con tu empleador pasa por una aplicación de celular y un sistema
matemático de procesamiento de datos y no un ser humano. “Mi jefe es una
app” presenta grandes retos para la experimentación del trabajo y demues-
tra que la algoritmización de la vida es un escenario cercano. Por otra
parte, las personas trabajadoras de plataformas digitales cobran por cada
servicio realizado pero las empresas se quedan con un porcentaje.
ci

Las plataformas digitales se incrementan todos los días, también su
área de acción frente a las actividades y servicios que van cubriendo. Ahora
podemos encontrar aplicaciones para hacer compras de supermercado: ¡sí,
tú te quedas en tu casa!, mientras mandas una lista de lo que quieres y
alguien va al supermercado a comprar todos esos productos, buscando
minuciosamente marcas, precios, peso, ingredientes, etc, por ti. También
hay aplicaciones para contratar servicios de comunicación, diseño gráfico,
edición de estilo. Puedes coordinar quién saca a pasear a tu perro por ti
con una app de celular. El capitalismo ha encontrado un nicho de mercado
muy fructífero, pero no es solo un tema de nuevos modelos de negocio. La
economía de plataformas busca instaurar un nuevo régimen laboral, tribu-
tario, político. Nos enfrentamos a la desregularización del trabajo, a la des-
regularización de los sistemas de recaudación fiscal, a la desregularización

de las prácticas monopólicas en el mercado.

Inteligencia Artificial Feminista
248 Hacia una agenda de investigación en América Latina y el Caribe

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

Sin embargo, la atención que han recibido las aplicaciones de
reparto y conducción no es la misma que otras también existentes. La
(sobre) exposición de estas dos actividades con aplicaciones móviles se
debe en gran parte al ámbito público donde se desempeñan estos trabajos.
Adicionalmente, no es menor mencionar que son dos actividades laborales
sumamente masculinizadas. Pero no podemos decir que todas las aplica-
ciones tienen las mismas implicaciones. En general, la lógica de puntuación
dentro de las apps para evaluación de desempeño, la flexibilización laboral,
la organización del trabajo con base en la algoritmización son elementos
que pueden transversalizar entre plataformas. Sin embargo, existe una gran
feminización de otras aplicaciones que se desempeñan en el ámbito
privado.

Ahí llegan las apps de cuidados. Las aplicaciones de trabajo de cui-
dados han comenzado a incrementarse y en algunos países a existir por
primera vez. Pero no podemos comparar y afirmar que es lo mismo pedir
un Uber que contratar a una mujer para limpiar tu casa. El trabajo domésti-
co tiene en sí una historia colonial y patriarcal que lo hace muy distinto a
manejar un auto. El trabajo de cuidados ha recaído históricamente en las
mujeres, un trabajo invisibilizado, no pagado y totalmente desvalorizado.
“La inmensa cantidad de trabajo doméstico remunerado y no remunerado
realizado por mujeres en el hogar es lo que mantiene el mundo en movi-
miento.” (Federici 2012, p. 2) Con la globalización y la crisis neoliberal de
los cuidados, han sido las mujeres migrantes y racializadas del Sur global
quienes realizan mayoritariamente este trabajo. Y dentro de los países de

América Latina, quienes realizan trabajo remunerado del hogar son mujeres

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 249

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

indígenas, afrodiaspóricas y mestizas empobrecidas. ¿Qué implicaciones
tiene que la reproducción social de la vida esté mediada por aplicaciones
móviles de celular? ¿Cómo impactará en la vida de las mujeres que el tra-
bajo de cuidados ya de por sí precarizado ahora se organice a través de al-
goritmos?

Yorya trabajó como repartidora con Rappi y Glovo hasta sus siete
meses de embarazo. Usaba sacos, chaquetas y chompas grandes para
esconder su vientre, porque temía que si las empresas descubrieran que
estaba embarazada, le cerrarían sus cuentas en las apps. Es decir, ¡la
despedirían! Sus temores no eran infundados, en varios países a nivel
mundial se habían reportado casos similares, mujeres embarazadas des-
pedidas de apps de reparto. Mientras compañeras repartidoras como Yorya
se enfrentan a estos niveles de desprotección en Pedidos Ya, Delivery
Hero, Uber Eats, Rappi (Hidalgo, 2020b), compañeras conductoras de Uber
ganan menos que los hombres por el mismo trabajo (Hunt y Samman,
2019); compañeras trabajadoras remuneradas del hogar en Alia, Tidy,
Handy, etc, denuncian acoso sexual y maltrato dentro de las casas y ofici-
nas (Browning y Conger, 2020).

Estas realidades nos deben llamar a la acción. Esa es la batalla que
estamos luchando desde toda trinchera, reclamar dignidad para las perso-
nas que trabajan dentro de empresas de plataformas digitales. La inciden-
cia feminista y decolonial en los debates de la gig economy es fundamental
para generar propuestas de lucha y resistencia ante el capitalismo tecnoló-

gico. Disputar un futuro del trabajo con derechos laborales no puede estar

Inteligencia Artificial Feminista
250 Hacia una agenda de investigación en América Latina y el Caribe

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

ajeno a la lucha feminista, antirracista, por regularización migrante. Estas
pequeñas letras son ideas, preocupaciones, deseos de seguir explorando
las implicaciones del avance tecnológico y cómo desde nuestros lugares
situados de lucha podemos contribuir con otros mundos posibles. Con mis
compañeras del Observatorio de Plataformas tenemos un lema, “que el al-
goritmo no controle nuestra humanidad”. Estoy segura de que la interven-

ción feminista y descolonial es fundamental para lograrlo.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 25 1

Z0Z

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

REFERENCIAS

Abílio, L. C., de Almeida, P. F., Amorim, H., Cardoso, A. C. M., da Fonseca, V. P.,
Kalil, R. B., 4 Machado, S. (2020). Condicóes de trabalho de entregadores via
plataforma digital durante a Covid-19. Revista Jurídica Trabalho e
Desenvolvimento Humano, 3.
10.33239/rjtdh.v.74

Browning, K. 8 Conger, K. (10 de septiembre de 2020). Cleaners demand
harassment safeguards from the booking service handy. The New York
Times.
https://www.nytimes.com/2020/09/10/business/handy-service-cleaners-harassment.html

Dinegro, A. (2020). Capitalismo de plataformas: mi jefe es una App. Espiral, revista
de geografías y ciencias sociales, 2(3), pp. 123-131.
https: //revistasinvestigacion.unmsm.edu.pe/index.php/espiral/article/download/18452/15692/64
184

Federici, S. (2012). Revolution at point zero: Housework, reproduction, and feminist
struggle. Oakland: PM Press.

Jaramillo, |. (2020). RIDERS: Entre el desvalor del trabajo y la superación del
confinamiento. Bogotá: Friedrich-Ebert-Stiftung.
http://library.fes.de/paf-files/bueros/kolumbien/16287.paf

Hidalgo, K. (2020a). Habitando las economías de plataforma. El ser mujer
repartidora en Uber Eats y Glovo en Quito. En: Revista Akademía 3(1), pp.
329-377.

Hidalgo, K. (2020b). Madres, trabajadoras y precarizadas. La situación de las
mujeres repartidoras de App en Ecuador. En Opción S.
https://opcions.ec/portal/2020/10/07/madres-trabajadoras-y-precarizadas-la-situacion-de-las-
mujeres-repartidoras-de-app-en-ecuador/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Reflexiones feministas sobre la economía de plataformas
o que el algoritmo no controle tu humanidad

Hunt, A. 4 Samman, E. (2019). Gender and the gig economy. Critical steps for
evidence-based policy. ODI.
https://cdn.odi.org/media/documents/12586.paf

Morales, K. (2020). La valoración de la flexibilidad y la libertad en el trabajo de las
apps. ¿Los trabajadores de plataformas son sujetos neoliberales? In: Hidalgo,
K. 8 Salazar Daza, C. (Eds.) Precarización laboral en plataformas digitales.
Una lectura desde América Latina, pp. 37-54. Quito: FES-ILDIS Ecuador.

Nakamura, L. (2015). The unwanted labour of social media: Women of colour call
out culture as venture community management. In: New Formations: A
Journal of Culture/ Theory/Politics 86(1), pp. 106-112.
10.3898/NEWF.86.06.2015

Organización Internacional del Trabajo. (2018). Digital labour platforms and the
future of work: Towards decent work in the online world.
https://www.ilo.org/global/publications/books/WCMS_645337/lang--en/index.htm

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 253

Un caso para una mayor
inclusión y equidad en
la investigación e

implementación de Abbijae Nevers
, Chennel Williams

IA en el Caribe Raquel Seville
Bl Brainz

Jamaica

Se prevé que el tamaño del mercado mundial de inteligencia artificial al-
cance los 641 300 millones de USD para 2028 (Verified Market Research,
2022) y los líderes notables en el nicho son Google, Amazon, Alibaba, Mi-
crosoft, Facebook, entre otros. Si bien los países del Caribe son
consumidores de bienes y servicios de estas empresas, todavía no tienen
un impacto significativo y una contribución a la investigación e implementa-
ción de lA.

Estas empresas globales pueden verse como pioneras y guardianas
de los datos y de la lA; sin embargo, la cuarta revolución industrial brinda
igualdad de condiciones para todos y la capacidad de hacer que la educa-
ción, el espíritu empresarial y la gobernanza sean más equitativos. (Wilson,
2021) Los pequeños estados insulares se encuentran en una posición única
para aprovechar la inteligencia artificial, el aprendizaje automático, el

blockchain y otras tecnologías emergentes para transformar el sustento de

Inteligencia Artificial Feminista
254 Hacia una agenda de investigación en América Latina y el Caribe

Un caso para una mayor inclusión y equidad
en la investigación e implementación de lA en el Caribe

sus ciudadanos y hacer crecer sus economías para competir con el PIB de
los países del primer mundo.

El Caribe primero debe mirar los efectos coloniales históricos y resi-
duales que resultan en una falta de representación y equidad para su gen-
te. Esto incluye la atención médica y los datos subyacentes para
diagnosticar, tratar y mejorar la vida de los pacientes. El impacto de la in-
migración de trabajadores calificados, como enfermeras y maestras, que
son predominantemente mujeres y que en la mayoría de los casos soportan
la carga de mantener a sus familias, deja un vacío en muchos hogares y

sesga los datos de los programas sociales y la asignación de recursos.

Falta de datos

Un gran desafío al escribir contribuciones como esta es que hay una
falta de datos en el Caribe. En algunos casos, los datos solo se pueden en-
contrar a partir de investigaciones realizadas por organismos internaciona-
les y existen muy pocos datos dentro de las naciones insulares individuales.
Si examinamos la atención médica y profundizamos en las enfermedades
pélvicas, la investigación muestra que las mujeres negras se ven afectadas
de manera desproporcionada más que cualquier otra raza. Según Bougie et
al. (2019), se observa que las mujeres negras tienen solo la mitad de pro-
babilidades de ser diagnosticadas con endometriosis en comparación con
las mujeres blancas y continúan destacando que la raza/etnicidad puede
influir en la capacidad de acceder a la atención médica y obtener el manejo
adecuado para la endometriosis a través de una combinación de factores

socioeconómicos, sociales e influencias genéticas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 255

Un caso para una mayor inclusión y equidad
en la investigación e implementación de lA en el Caribe

En un artículo de Jamaica Observer, se informó que 100.000
mujeres y estudiantes sufren de endometriosis (Jamaica Observer, 2014) y
puede haber cientos de miles más sufriendo en silencio o simplemente sin
darse cuenta. No hay datos combinados disponibles para el Caribe, sin
embargo, según la Organización Mundial de la Salud, la endometriosis
afecta a 1 de cada 10 mujeres. (OMS, 2021) La población total del Caribe
es de aproximadamente 43 millones y las mujeres constituyen el 50 % de
ese total, por lo tanto, si el 10 % de esa población sufre de endometriosis,
estamos ante 2,1 millones de mujeres que potencialmente podrían estar
sufriendo de endometriosis y pueden no estar diagnosticadas y no ser
conscientes de eso.

Esto destaca una importante preocupación de salud y la necesidad
de investigación y datos adecuados para respaldar esta teoría. También
existe una gran oportunidad de utilizar la lA para aprender hábitos, tenden-
cias y patrones para ayudar con la detección temprana y la prevención del
síndrome de ovario poliquístico, la endometriosis, la adenomiosis y cual-
quier otra enfermedad pélvica que afecte a las niñas y mujeres jóvenes en
sus años reproductivos. Podría haber una asociación entre los ministerios
de atención de la salud de CARICOMI%4] para crear una aplicación específi-
ca para nuestras necesidades regionales para recopilar datos relevantes

para nuestra gente y utilizar esos datos anónimos para realizar investiga-

[94] La Comunidad del Caribe es una organización internacional para el fortalecimiento de las relaciones en la región del Caribe, fundada
en 1973 por el Tratado de Chaguaramas. Los países miembros son Trinidad y Tobago, Jamaica, Barbados, Guyana, Antigua y
Barbuda, Belice, Dominica, Granada, Monserrate, San Cristóbal y Nieves, Santa Lucía, San Vicente y las Granadinas. (Wikipedia)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 256

Un caso para una mayor inclusión y equidad
en la investigación e implementación de lA en el Caribe

ciones y aprendizaje profundo para comprender las causas subyacentes,
los desencadenantes y posiblemente encontrar una cura o indicaciones de
opciones específicas de estilo de vida que pueden cambiarse o eliminarse.
Si bien es posible que se realicen investigaciones al respecto en otros paí-
ses fuera del Caribe, es importante tener en cuenta que la demografía es
diferente, el entorno es diferente, la comida es diferente, por lo que debe-
mos construir nuestros propios sistemas para abarcar un enfoque más in-
clusivo para la investigación e implementación de la lA.

La inmigración también es un área clave en la que tenemos una falta
de inclusión y representación para apoyar la investigación de lA en el Cari-
be. Según Batalova y Zong (2019), la diáspora caribeña en los Estados
Unidos comprende casi 8 millones de personas que nacieron en una nación
insular del Caribe o que informaron ascendencia de un país determinado en
el Caribe. Entre 1980 y 2000, la población inmigrante del Caribe en el país
aumentó en más del 50 por ciento cada diez años y las remesas que ingre-
san a América Latina y el Caribe ascendieron a $103 mil millones en 2020.
(CARICOM, 2021) Solo el Caribe recibe aproximadamente $12 mil millones
de ese total (Batalova 8 Zong, 2019), en cuanto Haití y Jamaica represen-
tan el 86,2% de las remesas que fluyen hacia los estados de CARICOM. A
un nivel más amplio, la República Dominicana recibió más de la mitad
(54%) de todas las remesas enviadas al Caribe, seguida por Jamaica (21%)
y Haití (20%).

Las remesas son un contribuyente fundamental para los hogares de
muchos caribeños, pero también para el PIB de algunos de estos países.

Como se señaló anteriormente, la mayoría de los inmigrantes son mujeres

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 257

Un caso para una mayor inclusión y equidad
en la investigación e implementación de lA en el Caribe

y son el sostén de sus familias. El éxodo de mujeres de la región del Caribe
afecta a la región en su conjunto y, como resultado, vemos casos de bajas
tasas de matrimonio, hogares unifamiliares y niños criados por familias ex-
tensas y abuelas.

Si bien las remesas pueden ayudar a compensar los salarios más
bajos y las peores condiciones económicas en el Caribe, es importante
comprender el impacto de los hogares sin madre y de la ruptura de la uni-
dad familiar. Debería haber más programas de investigación orientados a
capturar datos y comprender el impacto de este cambio, usando lA para
construir modelos que puedan aprender comportamientos e identificar pa-
trones que podrían arrojar luz sobre las altas tasas de delincuencia y activi-
dades delictivas entre hombres jóvenes, jóvenes en situación de riesgo
social y otros desafíos socioeconómicos que aquejan a los diferentes go-
biernos y comunidades del Caribe. Estos patrones y tendencias de com-
portamiento podrían luego usarse para informar la intervención social y los
programas de extensión comunitaria. Por lo tanto, la inteligencia artificial
puede ayudar a informar la reasignación de recursos limitados a áreas que

serían mejor atendidas y así tendrían mayor impacto.

Inteligencia Artificial Feminista
258 Hacia una agenda de investigación en América Latina y el Caribe

Un caso para una mayor inclusión y equidad
en la investigación e implementación de lA en el Caribe

REFERENCIAS

Batalova, J. 8 Zong, J. (13 de febrero de 2019). Caribbean immigrants in the United
States. [Inmigrantes caribeños en los Estados Unidos.] Migration Policy
Institute.
https: //www.migrationpolicy.org/article/caribbean-immigrants-united-states-2017

Bougie, O, Yap, Ma.l, Sikora, L, Flaxman, T, Singh, $. Influence of race/ethnicity on
prevalence and presentation of endometriosis: a systematic review and meta-
analysis. BJOG 2019; 126, pp. 1104— 1115.
https://doi.org/10.1111/1471-0528.15692

CARICOM. (18 de mayo de 2021). Haiti and Jamaica account for 86.2% of
CARICOM remittances. [Haití y Jamaica representan el 82% de las remesas
de CARICOM.]

https://caricom.org/haiti-and-jamaica-account-for-86-2-of-caricom-remittances/

Mundle, T. (2 de marzo de 2014). 100,000 J'can women, girls suffer pelvic disease.
[100.000 mujeres y niñas J'can sufren enfermedades pélvicas.] Jamaica
Observer.
https://www.jamaicaobserver.com/news/100000-¡can-women-girls-suffer-pelvic-disease/

Wilson, S. (org.) (2021). Intelligent economies: Developments in the Caribbean.
Informing Science Press.

Organización Mundial de la Salud. (2021). Datos clave de la endometriosis.
https://www.who.int/news-room/fact-sheets/detaillendometriosis

Verified Market Research. (2022). Global artificial intelligence market size by
component analysis (hardware, software and services), by technology (deep
learning, machine learning, natural language processing), by end-user
industry (healthcare, manufacturing, agriculture), by geographic scope and
forecast. [Reporte].
https://www .verifiedmarketresearch.com/download-sample/?rid=3162

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 259

Diseño de un índice global
basado en derechos sobre lA

responsable Rachel Adams

Research ICT Africa
Sudáfrica

La inteligencia artificial (IA) es un problema perverso al que se enfrenta la
sociedad en todo el mundo. Es perverso porque es complejo y difícil de
definir como una preocupación política. ¿Cómo se está utilizando y quién
debe —¿quién puede?-— asumir la responsabilidad de garantizar que se
utilice para mejorar la sociedad? A medida que avanza cada vez más para
convertirse en una tecnología de uso general, no puede aislarse de las
condiciones sociales y económicas en las que se produce y utiliza; de
hecho, está cambiando la naturaleza misma de las sociedades y las eco-
nomías, exigiendo nuevos tipos de investigación e intervenciones políticas
para comprender y gestionar sus efectos. (Coyle, 2021). Lo que hace que la
IA sea más compleja es la paradoja en la que está ligada: esta tecnología,
que ofrece un gran potencial de transformación para las sociedades en su
capacidad para calcular grandes franjas de información, a una tasa de efi-
ciencia mucho mayor que cualquier mente humana, conlleva un gran riesgo
para los derechos y valores fundamentales. La evidencia ha demostrado

que incluso los usos más legítimos de la lA han causado daño a las perso-

Inteligencia Artificial Feminista
260 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

nas y sus sociedades y entornos (Pizzi, Romanoff 8 Engelharat, 2021).
Para agregar a esto, aún no conocemos las implicaciones o impactos com-
pletos que la lA está teniendo, o tendrá, en diferentes sociedades alrededor
del mundo.

En respuesta, se han desarrollado marcos que establecen los princi-
pios éticos básicos que deben respetarse a medida que se diseña, desa-
rrolla, usa y evalúa la tecnología. Estos principios éticos reflejan algunos de
los valores centrales de la sociedad humana que se considera amenazada
por la lA, tales como: quién debe rendir cuentas por los daños que pueda
causar o cómo podemos asegurarnos de que sabemos lo suficiente sobre
cómo funciona una lA para ser capaz de aislar la causa de sus efectos no-
civos. Los Principios sobre Inteligencia Artificial de la OCDE, adoptados en
2019, han sido un marco particularmente importante en este sentido.
(OCDE, 2019) A fines de 2021, se alcanzó otro hito importante para la co-
munidad internacional cuando la Recomendación de la UNESCO sobre éti-
ca en la lA (UNESCO, 2021) fue adoptada por unanimidad por los 193
estados miembros. Esto constituye un gran avance en la ética de la lA: la
Recomendación de la UNESCO ofrece un marco amplio sobre cómo se
debe desarrollar y utilizar la lA para mejorar la sociedad humana en dife-
rentes contextos alrededor del mundo, ofreciendo el primer instrumento
global de este tipo y enfatizando la importancia de la diversidad y del con-
texto cultural en la aplicación de sus disposiciones.

A medida que avanzamos en la profundización de nuestra compren-
sión colectiva de cómo la lA está remodelando nuestras sociedades y qué

modelos de políticas se requieren para gestionar mejor sus efectos al ser-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 26 1

Diseño de un índice global basado en derechos sobre lA responsable

vicio del bienestar humano y planetario, se necesita información sobre el
estado global de la implementación de los principios de la UNESCO y las
barreras que enfrentan los países para proteger a las personas de los ries-
gos para los derechos humanos y las libertades democráticas que la lA
puede traer. Esta es la premisa del nuevo Índice Global de lA Responsable
(Índice Global).

El Índice Global sobre lA responsable

El Índice Global es una nueva herramienta basada en derechos que
se está desarrollando para apoyar a una amplia gama de actores en el
avance de las prácticas de lA responsable. Su objetivo es proporcionar un
punto de referencia completo, confiable, independiente y comparativo para
evaluar el progreso hacia una lA responsable en todo el mundo. En última
instancia, al proporcionar investigaciones y datos para fomentar la rendición
de cuentas, desarrollar intervenciones políticas más precisas y perfeccionar
las mejores prácticas, además de fomentar la cooperación regional e inter-
nacional, el Índice global reforzará la capacidad de los gobiernos, de las or-
ganizaciones de la sociedad civil y de otras partes interesadas en todo el
mundo para defender los principios de la |A responsable basada en los
derechos.

Una de las innovaciones clave del Índice Global es el desarrollo de
un enfoque totalmente integrado basado en los derechos humanos que in-
formará las dimensiones comparativas del Índice. Este enfoque es innova-
dor por dos razones. Primero, por la codificación de las obligaciones de

derechos humanos junto a los principios aceptados de la ética de la IA para

Inteligencia Artificial Feminista
262 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

establecer puntos de referencia concretos para una lA responsable basada
en los tratados y estándares de derechos humanos existentes. Y segundo,
por desarrollar un índice — un instrumento de investigación diseñado para
crear un sistema de clasificación contra el logro de puntos de referencia
universalmente aplicables — que busca evaluar de manera justa el progreso
de un país hacia la lA responsable con una metodología basada en los
estándares de derechos humanos y en la realización progresiva de dere-
chos socioeconómicos sujetos a los recursos disponibles, a fin de adaptar-
se a las diversas condiciones dentro de los países.

En este artículo introductorio al proyecto del Índice Global, discuto
estas innovaciones con más detalle, describiendo exactamente lo que que-
remos decir con un Índice Global basado en derechos y por qué creemos

que esto es importante.

Derechos humanos

Los derechos humanos comprenden un marco ampliamente acepta-
do para las condiciones básicas de la humanidad codificado en el derecho
internacional, regional y nacional, con más de 170 países que han ratificado
la declaración internacional de derechos (que consta de la Declaración
Universal de Derechos Humanos, del Pacto Internacional de Derechos Ci-
viles y Políticos, y del Pacto Internacional de Derechos Sociales, Económi-
cos y Culturales). Esto incluye derechos a participar en la vida social,
cultural y política; tener acceso a alimentos, agua, atención médica y vi-
vienda para sobrevivir; tener protección social del Estado cuando sea ne-

cesario; estar igualmente sujetos a leyes justas; tener libertad de

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 263

Diseño de un índice global basado en derechos sobre lA responsable

pensamiento; y tener estos derechos, y todos los demás derechos, realiza-
dos y protegidos.

En los sistemas regionales de derechos humanos que se han esta-
blecido se enfatizan los derechos derivados de contextos históricos. Dentro
del canon de la Organización de los Estados Americanos, por ejemplo, el
derecho al trabajo y los derechos laborales justos son clave, mientras que
dentro del sistema africano de derechos humanos, el derecho a estar libre
de la esclavitud de la dominación y los derechos comunitarios tienen una
importancia particular. La erradicación de la discriminación contra las muje-
res y el logro de la igualdad de género sustantiva es una prioridad univer-
sal, tal como se expresa en los Objetivos de Desarrollo Sostenible (ODS)
de la ONU.

La Al supone un riesgo para el disfrute y la realización de los dere-
chos humanos en todo el mundo. Conocemos bien las infracciones al
derecho a la privacidad involucradas en el uso intensivo de datos por parte
de Al y los impactos en la libertad de movimiento y asociación de la vigilan-
cia impulsada por la Al. La creciente evidencia de los efectos discriminato-
rios dañinos de la lA en las mujeres, las minorías de género y las personas
racializadas, entre muchos otros grupos vulnerables dentro de la sociedad,
está impulsando a los actores de todo el mundo a considerar con mayor ur-
gencia las herramientas necesarias para abordar este problema y poner en
práctica los principios de lA responsable y ética.

Lo que ha sido una prioridad política bastante menor es la forma en
que la lA está contribuyendo a la desigualdad entre y dentro de los países

en la distribución radicalmente desigual de sus beneficios y riqueza. Para

Inteligencia Artificial Feminista
264 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

abordar esta preocupación, se requiere cooperación y solidaridad interna-
cionales sobre el uso beneficioso de la IA para todas las personas en todas

partes y el cumplimiento de estándares definidos de lA responsable.

¿Por qué un enfoque basado en los derechos humanos?

Un Índice Global basado en derechos puede ayudar a respaldar la
promoción y la protección de los derechos humanos en el desarrollo y uso
de la lA. Esto incluye ayudar a los titulares de deberes de derechos huma-
nos a comprender sus responsabilidades en relación con la lA; a los go-
biernos, en el cumplimiento de sus obligaciones de derechos humanos en
un contexto digital cambiante; a las defensoras y los defensores de los de-
rechos humanos en el seguimiento y en la defensa de la protección de los
derechos humanos en riesgo por la Al; y a los titulares de derechos para
reclamar sus derechos y acceder a remedios y reparaciones cuando esos
derechos se hayan violado.

Los derechos humanos constituyen un marco ejecutable para la pro-
tección de las personas y de las comunidades frente al abuso de poder.
Discutido con más detalle en las secciones a continuación, esto significa
que nuestro punto de partida para medir de manera justa el progreso de un
país en lA responsable es un conjunto de normas y estándares ya acorda-
dos por los gobiernos de todo el mundo y por la comunidad internacional.

Además, un enfoque basado en los derechos obliga a un enfoque de
diseño particular que se centre en la no discriminación y la igualdad sus-
tantiva; la inclusión y la participación, particularmente con las comunidades

afectadas; la transparencia y la accesibilidad, de modo que los datos que

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 265

266

Diseño de un índice global basado en derechos sobre lA responsable

producimos y la metodología que adoptamos puedan ser utilizados y en-
tendidos por otros; y la equidad, de modo que el índice refleje fielmente los
contextos y las realidades locales.

Sin embargo, los derechos humanos no están exentos de limitacio-
nes y críticas, como ha sido expresado por académicos y especialistas.
Antes de detallar lo que entendemos por un enfoque basado en derechos
humanos, es importante considerar estas preocupaciones y sus implicacio-

nes para diseñar un Índice Global inclusivo y con impacto.

Superación de las limitaciones de los derechos humanos
A. Exigibilidad

Una crítica clave del sistema de derechos humanos es su
falta_de eficacia para alcanzar el cambio radical necesario para
lograr un mundo verdaderamente justo e igualitario debido a su
amplio alcance y su carácter de ley blanda, no jurídicamente vin-
culante. Esto significa que cuando se han firmado tratados interna-
cionales o regionales de derechos humanos sin incorporarlos en las
leyes nacionales, los mecanismos de aplicación de esos tratados
son a menudo ineficaces.

Estos argumentos son particularmente importantes en el con-
texto de la ética de la lA donde, hasta la fecha, el espacio se carac-
teriza en gran medida por estándares éticos no vinculantes y
medidas de autorregulación. En este sentido, hay lecciones que

aprender del sistema internacional de derechos humanos sobre los

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

mecanismos de aplicación y supervisión, así como la necesidad de
apoyar activamente la puesta en práctica nacional de la ética de la
IA a través del desarrollo de capacidades de personas, sistemas e
instituciones, la colaboración entre naciones y con organizaciones
internacionales, y la transparencia, para permitir el monitoreo y la
presentación de informes independientes.

Sin embargo, quizás de manera más definitiva, el sistema de
derechos humanos desarrollado durante los últimos 70 años brinda
la base para articular y establecer deberes y responsabilidades
claros para los actores involucrados en el desarrollo y uso de la lA y,
por lo tanto, otorga mayor peso y contenido a los principios de lA
éticos y responsables. De esta manera, el discurso y la regulación
en torno a la lA responsable pueden aprovechar la experiencia y la
jurisprudencia del sistema de derechos humanos, dando contenido a
los derechos, orientación sobre su cumplimiento y realización
progresiva, y precedencia en el equilibrio de derechos e intereses

contrapuestos.

B. Hacer que las empresas rindan cuentas por las

violaciones de los derechos humanos

Tradicionalmente, los derechos humanos han impuesto a los
gobiernos, como titulares de deberes, la obligación de proteger o
hacer realidad los derechos humanos de las personas y las comuni-

dades como titulares de derechos. Históricamente, los actores

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 267

Diseño de un índice global basado en derechos sobre lA responsable

corporativos no han tenido responsabilidades específicas y directas
en materia de derechos humanos. Si bien la responsabilidad última
de proteger y promover el respeto a los derechos humanos recae en
los gobiernos, la falta de responsabilidades específicas basadas en
los derechos humanos para las empresas ha planteado una limita-
ción en el disfrute y la realización de estos derechos, particularmente
en contextos en los que los gobiernos no cumplem - o no son capa-
ces de cumplir - con sus propios deberes de derechos humanos o
exigir que las empresas rindan cuentas. Esto se ve exacerbado en
países de bajos recursos donde las empresas multinacionales que
operan en la región ejercen un poder significativo sobre los gobier-
nos locales.

En el contexto de la lA, la responsabilidad corporativa por su
uso y desarrollo es un componente crítico de la lA responsable. Sin
embargo, esto se complica por la falta de marcos aplicables para
obligar a las empresas a actuar de manera responsable y respetar
los derechos humanos. Ha resultado particularmente difícil hacer
que las grandes empresas tecnológicas y multinacionales de lA rin-
dan cuentas por los daños cometidos fuera del país en el que tienen
su sede; por ejemplo, el papel de Facebook en el genocidio de
Myanmar.

En este sentido, se necesita hacer mucho más para obligar a
las empresas de lA a desarrollar y utilizar la lA responsablemente de
manera que no sea perjudicial para las personas o las comunidades.

En 2011, el profesor John Ruggie publicó el fundamental

Inteligencia Artificial Feminista
268 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

Principios rectores de las Naciones Unidas sobre las empresas y los
derechos humanos, que puso en marcha debates y compromisos
más amplios sobre cómo las empresas deberían y podrían rendir
cuentas por sus responsabilidades relacionadas con los derechos
humanos. (Ruggie, 2011) Los Principios Rectores de la ONU inclu-
yen disposiciones que serán especialmente importantes para su
consideración en el Índice Global, como la responsabilidad de las
empresas de garantizar el respeto de los derechos humanos en to-

das las cadenas de suministro de las empresas.

C. ¿Quién es considerado “humano” en derechos
humanos y el Sur Global en el centro de los debates de
|A?

Otra crítica importante de los derechos humanos proviene del
pensamiento poscolonial y descolonial, que señala la historia clara-
mente occidental de los derechos y la noción de que la provisión de
derechos a la humanidad implica un a priori de quién es considerado
humano y, por lo tanto, digno de tener derechos.

Esta es también una pregunta particularmente pertinente en
relación al campo de la |A que busca imitar la inteligencia humana y,
en última instancia, reproducir al ser humano en forma de máquina

(ya sea en parte o en su totalidad). Involucrados en este proceso

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 269

270

Diseño de un índice global basado en derechos sobre lA responsable

están los supuestos críticos —y normativos— sobre quién y qué es
el ser humano.!*Adams, 2021)

En el evento de anuncio del Índice Globall*él que se llevó a
cabo como un evento paralelo a la Cumbre por la Democracia 2021,
la profesora del Tecnológico de Monterrey, Paola Ricaurte, habló
sobre la importancia de abordar las cuestiones de violencia y asi-
metrías de poder en el Índice Global como áreas críticas para el tra-
bajo feminista y descolonial de Al. Esto incluye cuestionar cómo las
tecnologías de lA permiten la violencia contra las mujeres; qué vio-
lencias se ejercen, cómo y quién crea la lA, las condiciones labora-
les injustas a las que están sometidas las personas como
etiquetadoras de imágenes perturbadoras para entrenar lA; el acoso
sexual o la discriminación por motivos de género como parte de los
equipos de diseño de lA; la pérdida de un entorno saludable por la
extracción insostenible de los recursos naturales necesarios para
impulsar la lA, entre otros aspectos.

Al desarrollar el Índice Global, estos temas serán una preo-
cupación central. Realizaremos una serie de ejercicios de consulta

con grupos de derechos de las mujeres, académicas y académicos

[95] En relación con los derechos humanos, también hay debates importantes y emergentes sobre si los robots, una vez que tengan

[96

capacidad de sentir, deberían tener derechos, similar a los derechos humanos. Y, si un robot tiene agencia, si un robot no debería tener
también responsabilidades y obligaciones relacionadas con los derechos humanos. Estas discusiones quedan fuera del alcance actual
del Índice Global ya que son, en esta etapa, preocupaciones conceptuales y no afectan de inmediato la realización o el disfrute de los
derechos humanos.

“Moving from principles to practice in responsible Al around the world: Announcement of the new Global Index on Responsible Al”. La
grabación del evento está disponible en:
https://www.idrc.ca/en/events/moving-principles-practice-responsible-ai-around-world-announcement-new-global-index

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

indígenas de Al, grupos de defensa de los derechos humanos y par-
tes interesadas del Sur Global, para comprender mejor las preocu-
paciones particulares que enfrentan diferentes grupos en diferentes
partes del mundo en relación con la lA con el fin de construir un ín-
dice que aborde los desafíos reales y prácticos y que se pueda utili-
zar como una herramienta para respaldar mayores esfuerzos de
defensa de la lA responsable.

Además, el Índice Global es quizás la primera herramienta
global de lA que se desarrolla con el liderazgo del Sur Global, ya que
la iniciativa está dirigida por Research ICT Africal*?l con un equipo de
personas expertas en inteligencia artificial de África, Asia y América
del Sur. En el proceso de desarrollo del Índice Global, se hará espe-
cial hincapié en apoyar la capacidad de los investigadores de lA del

Sur Global para participar -y liderar- debates globales sobre lA.

Un enfoque basado en los derechos humanos

Los elementos de un enfoque basado en los derechos humanos se
han detallado en el derecho internacional de los derechos humanos y con-

sisten en los siguientes cinco principios:

[97] http:/Awww.researchictafrica.net/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 2T 1

272

Diseño de un índice global basado en derechos sobre lA responsable

Principios de un enfoque basado en los derechos humanos

Universalidad e inalienabilidad : Toda persona tiene derecho a todos los
: derechos humanos, por igual y sin distinción

PPP rr rro rr rra a roca o acre rr coros rro cro coros

Indivisibilidad e ¿Todos los derechos son inherentes a la
interdependencia : dignidad humana: la realización y el disfrute
: de un derecho depende de la realización de
¿otro derecho. Esto requiere una realización
: holística de todos los derechos y ninguna
: compensación entre los derechos.

Igualdad y no discriminación : Todos los seres humanos son iguales en virtud
: de su dignidad inherente. Como tal, todos

: los seres humanos tienen derecho al disfrute
igualitario de sus derechos sin discriminación

Participación e inclusión : Todas las personas tienen derecho a una
: participación equitativa, libre, activa
¿y significativa en la implementación y
:el disfrute de todos los derechos

Rendición de cuentas y : Todos los titulares de deberes (tanto jejee
estado de derecho : como no estatales) tienen obligaciones con
: respecto a la realización de los derechos
: humanos. Como tales, deben cumplir con las
: normas y estándares legales en materia de
: derechos humanos que se han establecido
: a nivel nacional e internacional. Si no lo
: hacen, las partes agraviadas tienen derecho
: a Un recurso o reparación efectivos.

Adaptado de Adams et al. (2021).

Estos principios se adoptarán en el diseño de la metodología y del
marco conceptual del Índice Global, como se analiza a continuación. Como

mínimo, esto incluye atención específica a lo siguiente:

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

o Énfasis en la no discriminación

o Énfasis en la realización de la igualdad sustantiva y el reconoci-
miento de la experiencia diferencial de disfrute o acceso a los dere-
chos en la era digital

o Énfasis en la consulta pública significativa, en la participación y en
la inclusión en el diseño, uso y gobernanza de la lA

o Interferencia de los sistemas de lA con los derechos proporcionada,
legítima y razonable en una sociedad democrática y establecida por ley
o Beneficencia y distribución justa de los beneficios de lA para pro-
teger contra el empeoramiento de la desigualdad.

o Recurso a la jurisprudencia nacional, regional e internacional sobre
derechos humanos para equilibrar derechos y principios contrapuestos
o Exigencia a los actores no estatales poderosos que tomen medi-
das positivas para realizar y proteger los derechos humanos afecta-
dos por el desarrollo y por el uso de la lA

o Mecanismos de reparación y remedio cuando se produzcan viola-
ciones como resultado del desarrollo y del uso de la lA deben ser fá-
cilmente accesibles

o Conocimiento y acceso a derechos en el contexto de la lA y de la
digitalización de la sociedad por parte de sus titulares

o Enfoque en crear futuros inclusivos a través del diseño inclusivo de
tecnología inclusiva

o Desarrollo de una regulación que tenga en cuenta la indivisibilidad
e interdependencia de los derechos de manera que, por ejemplo, el
derecho a la privacidad se entienda junto a la dignidad, a la libertad

de circulación y a la no discriminación, entre otros

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 213

Diseño de un índice global basado en derechos sobre lA responsable

Definición de “responsabilidad”

En los últimos años, ha habido un cambio en el discurso sobre la

buena gobernanza de la lA, de una lA ética a una lA responsable. Si bien la

IA ética conserva su fortaleza, junto con la lA confiable, y aunque en la

práctica puede haber una diferenciación limitada entre estos términos, los

derechos humanos brindan un marco claro de responsabilidad que consi-

deramos útil para definir la lA responsable.

Esto se traduce en el siguiente marco de responsabilidad de la lA:

Marco de responsabilidad de derechos humanos

Promover : Proteger de-
derechos ¿echos

Gobiernos; la : : Gobiernos (y
sociedad civil: : empresas que
y los orga- ¿cumplan con
nismos de :un deber gu-
promoción; ¿bernamental
empresas : de derechos

: humanos)

274

: y empresas

: Monitorear : Reclamar

: derechos : derechos

: Organismos : Individuos y
:independientes ¿comunidades
: de derechos :

: humanos; la so-

: ciedad civil y los

: grupos de defen- :

:Sa; académicos,

: entre otros.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

Marco de Responsabilidad de IA y derechos humanos

Responsabilidad del gobier- * Promover el desarrollo responsable de
no: garantizar que en el país sistemas de lA que respeten los dere-
existan las condiciones para chos, incluido el establecimiento de mar-
el uso responsable de la lA cos legales y regulatorios pertinentes.

PPPLLLLLLLLALAAAAAU00

: + Supervisar el impacto de la lA en los
: derechos humanos y proporcionar reme-
¿dios para las violaciones de los derechos

Responsabilidad corporati- : + Desarrollar y utilizar sistemas de lA
va: promover y respetar los : de manera que promuevan los derechos
derechos humanos en el de- : humanos y fortalezcan la democracia

sarrollo y en el uso de la lA :
: + Respetar los derechos humanos en
: todas las cadenas de suministro

Responsabilidad social: pro-
mover y monitorear los de-
rechos humanos por parte
de las y los usuarios y de las
y los desarrolladores de lA

+ Defender el respeto por los derechos
humanos en el uso y en el desarrollo de lA

e Monitorear el uso estatal y cor-
: porativo de lA y promover la con-
: ciencia de los derechos.

Este marco de responsabilidad incluye tanto la no injerencia en los
llamados derechos de deber negativo, como la libertad de expresión y el
derecho a la privacidad, como también los derechos de deber positivo,
como son el derecho a la educación o el acceso a la atención médica. Esto
es importante en el contexto de la “lA responsable”, donde queremos ase-
gurarnos de que la IA no solo se use de una manera ética que no infrinja
los derechos humanos, sino que su uso contribuya de manera significativa
a la realización progresiva de derechos y deberes positivos y de los

Objetivos de Desarrollo Sostenible.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 215

Diseño de un índice global basado en derechos sobre lA responsable

Codificación de estándares de lA responsables basados
en derechos

El Índice Global implicará un proceso para codificar las obligaciones
y los estándares de derechos humanos junto con principios éticos de lA
ampliamente aceptados. La Recomendación de la UNESCO constituye un
importante punto de partida para nuestro trabajo, articulando la protección y
promoción de los derechos humanos como uno de sus principios centrales,
junto con la diversidad y la sostenibilidad ambiental. Otros marcos clave in-
cluyen la Declaración de Toronto: Proteger el derecho a la igualdad y la no
discriminación en los sistemas de aprendizaje automático (Amnistía Inter-
nacional, 2018), el Protocolo Indígena e Inteligencia Artificial (Lewis, 2020),
y los principios feministas de la lA (Tandon, 2021).

La Recomendación de la UNESCO se desarrolló después de un ex-
tenso período de consulta de 2 años con partes interesadas de todo el
mundo y representa el marco más completo y ampliamente aceptado sobre
la ética de la lA hasta la fecha.

La metodología central para medir la lA responsable se basará en el
marco de valores, principios y áreas de acción política establecidos en la
Recomendación de la UNESCO que deben traducirse en un conjunto de
indicadores clave basados en los derechos humanos para respaldar la me-
dición. (Consulte la sección a continuación para obtener más información
sobre el desarrollo de indicadores.)

Nuestro enfoque de derechos humanos abarca no sólo los derechos
civiles y políticos, como la privacidad, la libertad de expresión y asociación,

que están bien reconocidos como afectados por la lA, sino que, a partir de

Inteligencia Artificial Feminista
276 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

la Recomendación de la UNESCO y de los aportes de la consulta con las
partes interesadas del Sur Global, también incluye los derechos sociales,
económicos, ambientales y culturales, los derechos de la comunidad, los
derechos laborales y los derechos de las niñas y los niños. La erradicación
de la discriminación contra las mujeres y los grupos sistémicamente desfa-
vorecidos en virtud de su identificación sexual, junto con la realización de
una igualdad de género sustantiva, también constituirán áreas de enfoque

clave del Índice Global.

Un enfoque basado en los derechos humanos como met-
odología

Uno de los principios clave del diseño del Índice Global es la equi-
dad. Es decir, reflejar de manera justa los contextos y las realidades locales
y medir el nivel de |A responsable de un país en relación con los recursos
disponibles. Esto no solo es importante porque tenemos en cuenta la desi-
gualdad global de capacidad y recursos de lA entre países, sino porque los
resultados justos y contextuales son mucho más informativos y útiles para
los países y las partes interesadas locales que buscan avanzar en su pro-
pio progreso hacia una lA responsable.

Sin embargo, incorporar la equidad en la metodología de un índice
no es sencillo. Los índices tienden a utilizar puntos de referencia estándar
para medir a los países frente a criterios universales como base para la
clasificación. En cambio, el Índice Global se inspira en el sistema de dere-
chos humanos para entender cuáles serían las medidas que se esperaría

que tomen los países de diferentes niveles de recursos para proteger y

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 277

Diseño de un índice global basado en derechos sobre lA responsable

cumplir los derechos humanos. El Pacto Internacional de Derechos Econ-
ómicos, Sociales y Culturales (PIDESC), ratificado por más de 140 países,
prevé el concepto de la realización progresiva de los derechos sujeta al
máximo de recursos disponibles. Esto significa que se espera que los go-
biernos tomen todas las medidas posibles utilizando los máximos recursos
disponibles para apoyar la realización de los derechos socioeconómicos de
deber positivo, como el agua, la vivienda y la seguridad social. Reconoce
que los países se encuentran en diferentes etapas en la realización de los
derechos socioeconómicos y no todos disfrutan del acceso al mismo nivel y
escala de recursos necesarios para cumplir con la realización de estos de-
rechos. Los recursos disponibles (CESCR, 2007) incluyen tanto los recur-
sos disponibles dentro de un país (públicos y privados) como los recursos
disponibles a través de la asistencia y cooperación internacional.

El Índice Global se basará en el concepto de la realización progresi-
va de los derechos sujetos al máximo de recursos disponibles en su meto-
dología de dos maneras principales. Primero, en el desarrollo de un
conjunto de indicadores que midan también el proceso y el desarrollo de
capacidades y no solo los resultados. Y segundo, en el desarrollo de un
marco de evaluación de criterios que medirá el progreso de un país en el
logro de un indicador de lA responsable frente a una escala desarrollada de
acuerdo con tres niveles de recursos: países de bajos recursos, países de
recursos medios y países de recursos altos.

Los indicadores pueden incluir: indicadores de “entrada”, como la
ratificación de instrumentos clave de derechos humanos o la existencia de

una ley de protección de datos; indicadores de “proceso”, como la inversión

Inteligencia Artificial Feminista
278 Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

en programas de ciencia de datos para mujeres; e indicadores de “resulta-
do” e “impacto”, como el número de denuncias relacionadas con Al presen-
tadas ante un organismo independiente de protección de los derechos
humanos. El desarrollo de indicadores se realiza y se seguirá realizando en
consulta con una amplia gama de partes interesadas en un esfuerzo por
abordar el ámbito completo de los desafíos (y oportunidades) de derechos
humanos asociados con la lA.

El Índice Global también tendrá en cuenta las obligaciones básicas
mínimas establecidas en el PIDESC, que requieren que ciertas obliga-
ciones socioeconómicas de derechos humanos de los gobiernos se
cumplan de inmediato y siempre, incluso en un estándar básico. Esto inclu-
ye el acceso a oportunidades laborales, en particular para las comunidades
desfavorecidas y el acceso a un plan de seguridad social para garantizar
las necesidades básicas, como agua, vivienda y alimentación. Por lo tanto,
el Índice Global incluirá una evaluación de si la lA interfiere con las obliga-
ciones básicas mínimas de un gobierno, o si se utiliza de manera efectiva

para cumplirlas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 279

280

Diseño de un índice global basado en derechos sobre lA responsable

REFERENCIAS

Adams et al. (2021). Human Rights and the fourth industrial revolution in South
Africa. Ciudad del Cabo: HSRC Press.
https: //www.hsrcpress.ac.za/books/human-rights-and-the-fourth-industrial-revolution-in-south-
africa

Adams, R. (2021). Can artificial intelligence be decolonized?. Interdisciplinary
Science Reviews, 46(1-2), 176-197.
https://doi.org/10.1080/03080188.2020.1840225

Amnistía Internacional. (2018). The Toronto Declaration: Protecting the right to
equality and non-discrimination in machine learning systems.
https: //www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08-
2018.pdf

Comité de Derechos Económicos, Sociales y Culturales - Naciones Unidas. (2007).
Evaluation of the obligation to take steps to the “maximum of available
resources' under an optional protocol to the covenant. UN doc. E/C, 12, 1.
https://www2.ohchr.org/english/bodies/cescr/docs/statements/Obligationtotakesteps-2007 .paf

Coyle, D. (2021). Cogs and monsters: What economics is, and what it should be.
Princeton University Press.

Lewis, J. E. (ed.) (2020). Indigenous protocol and artificial intelligence position
paper. Honolulu: The Initiative for Indigenous Futures and the Canadian
Institute for Advanced Research (CIFAR).
10.11573/spectrum.library.concordia.ca.00986506

OECD. (2019). Al Principles. Al Policy Observatory.

https://0ecd.ai/en/ai-principles/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe

Diseño de un índice global basado en derechos sobre lA responsable

Pizzi, M., Romanoff, M., 8 Engelharat, T. (2020). Al for humanitarian action: Human
rights and ethics. International Review of the Red Cross, 102(913), 145-180.
10.1017/S1816383121000011

Ruggie, J. (2011). Re: Guiding Principles for the implementation of the United
Nations “Protect, Respect and Remedy” Framework. United Nations
Document, 3.
https://www.ohchr.org/sites/default/files/documents/publications/guidingprinciplesbusinesshr_en
.paf

Tandon, A. (2021). Practicing feminist principles in Al design. Feminist Al.
https: //feministai.pubpub.org/pub/practicing-feminist-principles

UNESCO. (2021). Recommendation on the ethics of artificial intelligence.

https://en.unesco.org/artificial-intelligence/ethics

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 28 1

Sigue la pista:
Iniciativas y recursos sobre
inteligencia artificial

Iniciativas desde la

sociedad civil para la

sensibilización en temas de

ética en inteligencia pi)

Laura Alonso Alemany
Luciana Benotti

artificial Matías Bordone
Beatriz Busaniche

Lucía González

Alexia Halvorsen

Fundación Vía Libre
Argentina

Cada día más procesos sociales y decisiones son atravesados por sistem-
as automatizados basados en sistemas algorítmicos. Estos procesos rara
vez son transparentes e implican impactos sobre los derechos de la
ciudadanía. Desde Fundación Vía libre trabajamos hace tiempo en el
seguimiento, análisis y el debate desde la ética y los Derechos Humanos
para que la adopción de Inteligencia Artificial (IA) no implique retrocesos en

la calidad de vida y la dignidad de las personas.!*8l

[98] En este marco consolidamos durante el 2021 un grupo de trabajo de ética en IA de Fundación Vía Libre (FVL). El equipo es
interdisciplinario, Luciana es del área de informática, Laura Alonso es de lingúística, y ambas investigan en lingúística computacional
junto a Lucía, quien está haciendo su tesis de maestría en computación en el marco del equipo. Matías Bordone, también de
informática, se especializa en educación. Laura Ación se especializa en bioestadística e investiga en el área de ética en ciencia de
datos. Beatriz Busaniche y Alexia Halvorsen del área de comunicación y se dedican en Fundación Vía Libre a analizar la intersección
entre derechos humanos y tecnología.)

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 283

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Durante el 2021, llevamos adelante una serie de conversaciones que
tratan la relación entre ética e lA desde distintos puntos de vista y que pre-
tenden contribuir al objetivo de analizar críticamente las tecnologías que
atraviesan nuestra vida, sin perder de vista que la capacidad de desarro-
llarlas e implementarlas. El enfoque de estas conversaciones consistió en la
búsqueda de la diversidad de voces presentes en esta área, desde el sur y
con una perspectiva feminista por ser crítica, multidisciplinar y por poner en
el escenario a distintos tipos de minorías en lA: mujeres, argentines,
colombianes, inmigrantes y personas con formación en humanidades.

A lo largo del 2022, estamos trabajando en el desarrollo del proyecto
“Diagnóstico y mitigación de sesgos desde América Latina en procesa-
miento de lenguaje natural” en el marco del programa de investigación de la
<A+> Alliance.

En esta publicación desarrollaremos brevemente cada una de las
conversaciones y expondremos los puntos claves de debate, discusión y
conflicto que emergieron en cada una de ellas. Pretendemos que este
resumen colabore en la construcción de una agenda de investigación-

acción en inteligencia artificial elaborada desde Latinoamérica.

¿A dónde entra la ética en el desarrollo de lA?: Luciana Benotti,

Laura Ación y Laura Alonso Alemany

En esta conversación inicial, tres integrantes de nuestro grupo de-
batieron sobre el lugar de la ética en el desarrollo de tecnología. Luciana
Benotti es Doctora en Informática del Instituto Francés de Investigación en

Informática y Automatización e investigadora en CONICET sobre tecno-

Inteligencia Artificial Feminista
284 Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

logías para sistemas de diálogo y sus interacciones con aspectos sociales y
contextuales. Laura Ación es doctora en estadística de la Universidad de
lowa en EEUU e investigadora del CONICET en el Instituto de Cálculo de la
Universidad de Buenos Aires. Trabaja en investigación con datos de salud
desde 1999. Laura Alonso Alemany es doctora en lingúística, profesora en
la Universidad de Córdoba y trabaja en aplicaciones de procesamiento del
lenguaje natural usando aprendizaje automático.

Uno de los principios que se establecieron fue la idea de que la tec-
nología no es neutral y los desarrolladores deben estar sensibilizados sobre
los posibles impactos sociales de lo que desarrollan. La falta de sensibiliza-
ción actual podría relacionarse con que gran parte de las carreras de desa-
rrollo de software, históricamente, no incluían ética entre sus materias.

Por ética se refirieron a tres principios fundamentales: 1. Respeto por
las personas, los animales y el medio ambiente y su autonomía; 2. Justicia,
es decir tratar a las personas de manera justa, equitativa y digna; 3. Bie-
nestar de quienes participan directa e indirectamente de desarrollos de lA.

Para poder integrar la ética a la actividad informática hay que desa-
rrollar contenidos curriculares locales y atender a los escenarios locales con
ejemplos ligados a la disciplina. “Estamos muy acostumbrados a copiarnos
currícula de otros países para materias técnicas [...] pero en este tipo de
cosas necesitamos material desarrollado acá” comentó Luciana Benotti.

Otro punto relevante fue la importancia de incluir diferentes perspec-
tivas en el ciclo de vida del software, además de métricas y herramientas
que ayuden a reducir los impactos sociales negativos. No se puede reducir

la responsabilidad ética únicamente a los valores personales y aparecen los

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 285

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

financiadores, quienes toman gran parte de las decisiones condicionantes y
los Estados, que pueden incidir no solamente como sancionadores sino a
través de programas de incentivos.

Sobre el cierre, las entrevistadas concluyen que muchos de los pro-
blemas éticos no son nuevos y el enfoque debe ponerse en aprender de y
dialogar con otras áreas. Este punto abre la puerta al resto de las conver-

saciones que llevamos adelante durante el ciclo.

Regulación de inteligencia_artificial desde Argentina: Vanina_Marti-
nez, Sofia Scaserra, Enrique Chaparro y Beatríz Busaniche

Vanina Martinez es doctora en Ciencias de la Computación, investi-
gadora del CONICET y coordinadora de Ciencia de Datos e Inteligencia
Artificial en la Fundación Sadosky. Sofía Scaserra es economista especia-
lista en comercio internacional. Se desempeña como docente e investiga-
dora del Instituto del Mundo del Trabajo (Universidad Nacional de Tres de
Febrero, UNTREF). Enrique Chaparro es matemático e integrante de la
Fundación de Vía Libre donde estudia hace años los impactos sociales de
las tecnologías.

Un primer problema es que el objeto de lo que queremos regular está
mal definido. “Para poder establecer los límites es necesario determinar
aquello que estamos limitando” enfatiza Enrique Chaparro. Esto se complica
además por la transversalidad en la que se aplica la inteligencia artificial.

Otro punto de debate es la soberanía de los Estados. En este punto
surge la idea de que debe haber una normativa de arquitectura digital y

este es un debate que falta a nivel nacional. Desde Argentina uno de los

Inteligencia Artificial Feminista
286 Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

marcos que tenemos disponibles para aplicar es la Ley de Protección de
Datos personales la cual es, a su vez, anacrónica. Ante estos interrogantes
los Estados deben fortalecerse. Por otro lado, hay debates que están sal-
dados por derechos existentes, solo se tienen que hacer cumplir. Como
pueden ser los derechos laborales.

Ante la pregunta de qué es lo más urgente se mencionan algunos
aspectos que efectivamente es necesario una moratoria como pueden ser
el reconocimiento facial y las armas autónomas. Más allá de estos
ejemplos, la conversación derivó en que es necesario pedir transparencia
en todo el proceso y velar por el proceso democrático.

A modo de cierre quienes integran la mesa concluyen en que la ética
es un buen punto de partida, pero es necesaria la regulación para hacer

prácticos estos principios. Es un problema político.

¿Cuáles son las preguntas necesarias sobre el rol de la lA en nues-
tras vidas? — Tomás Balmaceda y Diana Pérez

Laura Ación entabla una conversación con Tomás Balmaceda y
Diana Pérez, doctores en filosofía que forman parte del Grupo de Inteligen-
cia artificial, Filosofía y Tecnología (GIFT). Este grupo viene profundizando
en diferentes miradas sobre “cómo la tecnología afecta nuestra forma de
ser humanos o humanas sobre la tierra, nuestras formas de desarrollarnos
y de dar sentido a nuestras vidas”. Así abre Diana la conversación, contán-
donos cómo la filosofía nos provee de dimensión histórica, diferencias
transculturales y experimentos mentales como herramientas para entender

aspectos complejos de la relación entre la tecnología y las personas.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 287

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

En la charla se hace un recorrido por diferentes tipos de artefactos
tecnológicos a lo largo de la historia y cómo esos cambios tecnológicos han
producido cambios sociales y en nuestra forma de vida y, en ese sentido, la
Inteligencia Artificial puede suponer una revolución como lo supuso la
Revolución Industrial, aunque es difícil en este momento dimensionar su
magnitud. En cualquier caso, señalan una cuestión fundamental: las apro-
ximaciones basadas en aprendizaje automático, que identifican y repiten
patrones, no parecen exactamente una herramienta para el cambio, sino
más bien para la consolidación del statu quo.

Los filósofos nos comparten reflexiones sobre el proceso de traducir
situaciones complejas de la vida real a lenguaje matemático, para poder
trabajar con algoritmos. En este trabajo de traducción se pierden matices y
eso ya es un indicador de que no podemos confiar en que el resultado sea
objetivo. Dice Diana que “es una ilusión pensar que porque hay algo formal,
lógico o matemático al medio todas nuestras acciones humanas alrededor
de eso lógico-matemático que tenemos delante nuestro resulta objetivo y
neutral”, porque sigue habiendo decisiones y valoraciones humanas involu-
cradas.

Sobre el problema de los sesgos en inteligencia artificial, Tomás
propone desbancar el concepto de que algo sea intrínsecamente bueno.
Plantea en cambio una conversación sobre los valores comprometidos en
los desarrollos con inteligencia artificial. Esta gran conversación tiene que
incorporar perspectivas diversas: distintas generaciones, distintas orienta-
ciones, distintas identidades, distintas formas de comprender el mundo,

distintos lugares que tienen las personas frente al mundo.

Inteligencia Artificial Feminista
288 Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Inteligencia Artificial Abierta - Matthias Gallé y Pedro Ortíz Suárez

En esta entrevista realizada por Luciana Benotti, Matthias Gallé y
Pedro Ortíz Suárez nos cuentan del proyecto Big Science para hacer más
accesibles algunos modelos muy grandes de inteligencia artificial. Matthias
Gallé dirige varios equipos de investigación en Francia, en un centro de in-
vestigación de una empresa coreana. Pedro Ortíz es máster en matemáti-
cas en la Universidad de Aix-Marseille en Francia. Actualmente es
doctorante en tercer año de tesis en Sorbonne Université y en el INRIA.
Pedro investiga aplicaciones de aprendizaje automático a las ciencias hu-
manas y Matthias investiga sobre grandes modelos neuronales para enten-
der mejor su comportamiento.

A medida que la carrera por quién tiene el modelo más preciso se
intensifica, cada vez es necesario más poder de cómputo para poder si-
quiera hacer uso de estas tecnologías. Como consecuencia, quienes desa-
rrollan estos modelos son unas pocas (y cada vez menos) empresas
privadas que pueden permitirse el hardware necesario. Ninguno de estos
modelos es accesible. Si bien muchos de estos modelos son de “código
abierto”, la gran mayoría de instituciones no puede acceder al hardware
necesario para utilizarlos e inspeccionarlos para entender mejor su com-
portamiento.

Mediante la iniciativa Big Science se consiguió el poder de cómputo
necesario para entrenar un modelo para varios idiomas y dejarlo abierto
para que se pueda acceder, analizar y estudiar. Aproximadamente 800 in-
vestigadores y científicos de 45 países de todo el mundo participan en este

proyecto de forma altruista. El área de Inteligencia Artificial es muy compe-

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 289

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

titiva, pero el modelo colaborativo permite cosas que no son factibles en el
modelo competitivo. Por ejemplo, tener personas de todos los continentes y
países facilita contactar instituciones, bibliotecas, distintas organizaciones
en diferentes países para obtener datos de calidad.

Otro de los objetivos del proyecto es la recolección, filtrado y selec-
ción de datos de texto de calidad, inspeccionados por personas con diver-
sas perspectivas, formaciones y sesgos. “Los modelos van y vienen, lo que
quedan son los datos”. Cuando los modelos se entrenan con datos sin cu-
rar suelen filtrarse contenido que termina siendo reproducido por el modelo:
racismo, sexismo, violencia, homofobia.

A modo de conclusión, la sociedad civil puede alentar y promover la
diversidad en el mundo digital y, por otro lado, mantener el espíritu crítico:
no dudar en hacer preguntas, no dejar de quejarse, no asumir que porque

la computadora lo dijo no hay nada más que hacer.

Una visión crítica de la inteligencia artificial para el bien - Sasha
Luccioni

En esta entrevista Luciana Benotti entrevista a Sasha Luccioni. Sas-
ha es investigadora en IA en Canadá con formación en ciencias cognitivas
y ha colaborado con la UNESCO en proyectos que intentan combatir la de-
sinformación. El objetivo de esta entrevista es dar una visión crítica sobre la
IA para el bien. A continuación describimos tres aportes de la entrevista:
definir IA para el bien, ilustrar lo contraproducente que puede ser, y discutir

aspectos a tener en cuenta al intentar hacerla.

Inteligencia Artificial Feminista
290 Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Desde la perspectiva de Sasha, la lA para el bien es un movimiento y
también un área de investigación que toma aplicaciones de la lA como tra-
ducción automática o clasificación automática de textos y las usa para benefi-
ciar a la sociedad. Hay personas que argumentan que algunas empresas
desarrollan proyectos bajo este slogan desde el área de relaciones públicas
para conseguir un lavado de imagen de la lA que usan estas empresas y de
las empresas mismas.

La inteligencia artificial para el bien se aplica en áreas relacionadas
con los derechos humanos, como la salud, la educación y la pobreza. Por
ejemplo, Inglaterra desarrolló una herramienta de lA para predecir las califica-
ciones de los estudiantes durante la pandemia. El modelo resultó sesgado en
contra de las escuelas pobres. La intención fue evitar que los estudiantes tu-
vieran que hacer un examen en la pandemia, pero con buenas intenciones no
alcanza para hacer lA para el bien.

La entrevista concluye con preguntas a tener en cuenta antes de iniciar
un proyecto que se supone que usa lA para el bien: ¿Quién define el proble-
ma a ser abordado? ¿Se incluye a diversas personas que serán afectadas por
la tecnología? ¿Cuáles son las limitaciones de los datos? ¿Qué métricas ser-
virán para medir progreso? ¿Quién va a tomar la decisión en base a las pre-
dicciones? Según Sasha, estas preguntas deben hacerse y rehacerse antes
de empezar y durante el proyecto por un equipo diverso que incluya a repre-
sentantes de las especialidades y roles relevantes para el proyecto, siguiendo
el espíritu de la frase “nada sobre nosotres sin nosotres”. Es fácil subestimar
el esfuerzo de este tipo de proyecto y esa es una de las razones por las cuá-

les más de un proyecto de lA para el bien, no hace bien, concluye Sasha.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 29 1

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

La industria del software ante el surgimiento de la ética en lA

En esta charla Matías Bordone conversa con el Licenciado en Cien-
cias de la Computación Pablo Zivic y el Doctor en Matemáticas Leandro
Lombardi, científicos de datos de dos empresas importantes en Argentina y
Latinoamérica.

En los últimos 15 años la definición de ciencia de datos ha evolucio-
nado desde un mero análisis de datos offline hasta productos que adquie-
ren datos en tiempo real y toman decisiones de manera directa. Los
llamados sesgos de los sistemas de inteligencia artificial, la reproducción de
estereotipos y prejuicios, es algo que comienza a estar en boca de los de-
sarrolladores dentro de la industria. Ante la pregunta tácita de por qué en-
contramos sesgos en los productos, los entrevistados opinan que puede
considerarse que el “intento de desarrollo técnico” le haya ganado a lo que
debería ser un desarrollo cuidado de productos. Muchas empresas se dejan
llevar por la idea que si algo es técnicamente posible, se haga. Los entre-
vistados opinan que si el modelo funciona peor con ciertos grupos sociales
que con otros, no es un buen producto.

Otro punto clave es que los desarrolladores y demás responsables
del ciclo de producción de software se pregunten qué desean del produc-
to. Esto lleva a los programadores a preguntarse cuál es la función que
uno optimiza ¿Queremos optimizar la cantidad de clicks que hace la gente
aun a costa de someter a las personas a emociones fuertes como la ira?
Quizás podemos optimizar otra cosa, opinan los entrevistados, por ejem-

plo “el bienestar”.

Inteligencia Artificial Feminista
292 Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Si nos preguntamos qué incentivos tiene la industria en el uso de
datos hay que distinguir entre las empresas que hacen productos propios,
que están regulados únicamente por los marcos legales existentes, y las
empresas que desarrollan para terceros. Estas se ven interpeladas por los
clientes, que comienzan a ser conscientes de estas problemáticas que to-
davía no están reguladas de forma específica. De manera general, en todas
las empresas otro incentivo puede ser no “hacer un papelón” en la prensa,
sumándole que de acá a un tiempo esos papelones van a tener conse-
cuencias legales.

Termina la entrevista con la pregunta sobre qué se puede hacer.
Desde la industria se puede comenzar a inspeccionar sistemáticamente
sesgos en los modelos de datos. Una parte importante es incorporar diver-
sidad dentro de los equipos de desarrollo, que puedan ver diferentes ses-
gos. Además, pensar una profesionalización del área, considerando que la
dimensión ética es parte del rendimiento del sistema, es decir, si tu modelo
discrimina, es un mal modelo.

A modo de cierre, encontramos algunos puntos en común en estas
seis charlas. Por un lado, identificamos la necesidad de entender que la
tecnología no es neutral y que a raíz de ello más que generar un cambio
termina consolidando un status quo. Esto deriva en la importancia de la di-
versidad de perspectivas dentro de los equipos de desarrollo y de la con-
textualización regional. Por otro lado, identificamos la necesidad del
fortalecimiento de los estados, la demanda de transparencia, el debate y la

participación como otro punto en común entre varias de las conversaciones.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 293

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

Desde Fundación Vía Libre entendemos que la incorporación de
tecnologías no puede ser un camino lineal y acrítico, romántico y tecnofíili-
co, sino que cada abordaje debe ser respetuoso de los derechos de las
personas involucradas, especialmente cuando se trate de derechos huma-

nos fundamentales.

Inteligencia Artificial Feminista
294

Hacia una agenda de investigación en América Latina y el Caribe

Iniciativas desde la sociedad civil para la sensibilización
en temas de ética en inteligencia artificial

REFERENCIAS

Fundación Vía Libre. (Septiembre, 2021). ¿A dónde entra la ética en el desarrollo
de 14?. YouTube.
https://youtu.be/x1jE0Orc-geE

Fundación Vía Libre. (Septiembre, 2021). ¿Cuáles son las preguntas necesarias
sobre el rol de la IA en nuestras vidas?. YouTube.
https://youtu.be/QJJKAPXUmkI

Fundación Vía Libre. (Septiembre, 2021). Mesa redonda: Hablemos de regulación
de la IA. YouTube.
https://youtu.be/2DzFpmOsXX4

Fundación Vía Libre. (Diciembre, 2021). Inteligencia Artificial Abierta. YouTube.
https://youtu.be/elWHOg-q7xM

Fundación Vía Libre. (Diciembre, 2021). La industria del software ante la
emergencia de la ética en IA. YouTube.
https: //youtu.be/Gz-s_6MSDXE

Fundación Vía Libre. (Diciembre, 2021). Inteligencia artificial para el bien ¿de
quién? / Who benefits from Al for Good?. YouTube.
https://youtu.be/TYaoiLVE3vY

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 295

296

Otras Iniciativas y
proyectos

Inteligencia Artificial Feminista
a de investigación en América Latina y el Caribe

<A+> Alliance https://aplusalliance.org/

Feminist Al https://feministai.pubpub.org/

Not My Al https://notmy.ai/

Data Feminism https://data-feminism.mitpress.mit.edu/

Design Justice https://design-justice.pubpub.org/

Design Justice Network Principles
https://designjustice.org/read-the-principles

Red Tierra Común https://www,tierracomun.net/

Non-Aligned Technologies Movement https://nonalignedtech.net/
Radical Al https: //radicalai.net/work

Queer in Al https://www.queerinai.com

Latinx in Al https://www.latinxinai.org/

Indigenous Al https: //www.indigenous-ai.net/

A new Al Lexicon https://medium.com/a-new-ai-lexicon

Parables of Al

https: //datasociety.net/events/parables-of-ai-in-from-the-global-south/
Histories of Al: A genealogy of power https://www.ai.hps.cam.ac.uk/
The Oracle for Transfeminist Technologies

https: //www.transfeministech.codingrights.orq/

Papa Reo https://papareo.nz/

Al Sur https://www.alsur.lat/

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 297

Autoras

Aarathi Krishnan es asesora de Prospectiva Estratégica en PNUD,
becaria de tecnología y derechos humanos en Harvard Kennedy Carr Center y
afiliada del Berkman Klein Center for Internet 8 Society de la Universidad de
Harvard.

Abbijae Nevers es coordinadora de proyectos Tl en Bl Brainz, Jamaica.

AJung Moon es una roboticista experimental y directora del laboratorio de
Ética de Sistemas Inteligentes y Autonomía Responsable (RAISE) en la McGill
University, Canadá.

Alexia Halvorsen es investigadora en la Fundación Vía Libre.

Angie Abdilla es integrante del Consejo del Futuro Global sobre
Inteligencia Artificial para la Humanidad en el Foro Económico Mundial.

Beatriz Busaniche es docente en la Universidad de Buenos Aires y en
FLACSO y Presidenta de la Fundación Vía Libre.

Caitlin Kraft-Buchman es CEO y fundadora de Women at the Table y co-
fundadora de <A+> Alliance.

Carlos Affonso Souza es director del Instituto de Tecnología y Sociedad
de Río de Janeiro (ITS Rio) e integrante del Comité Ejecutivo de la Red Global de
Centros de Investigación de Internet y Sociedad (NoC).

Chelle Adamson es la directora de operaciones del Gran Desafío
Humanising Machine Intelligence (HMI) en la Universidad Nacional de Australia.

Chennel Williams es analista de datos en Bl Brainz, Jamaica.

Clarissa Guevara es abogada y consultora especializada en género y
políticas públicas.

Data Género - Observatorio de Datos con Perspectiva de Género es
una asociación civil de Argentina.

Inteligencia Artificial Feminista
298 Hacia una agenda de investigación en América Latina y el Caribe

Autoras

Eileen M. Lach es consejera general y directora de cumplimiento en JEEE.

Farah Ghazal es becaria del Social Sciences and Humanities Research
Council (SSHRC) de Canadá en el Centro de Acceso al Conocimiento para el
Desarrollo de la Escuela de Negocios en The American University of Cairo,
Egipto.

La Fundación Karisma es una organización de la sociedad civil con sede
en Bogotá, Colombia, que busca responder a las amenazas y oportunidades que
plantea la “tecnología para el desarrollo” al ejercicio de los derechos humanos.

La Fundación Vía Libre es una organización civil sin fines de lucro nacida
en el año 2000 en la ciudad de Córdoba, Argentina, que promueve y defiende
derechos fundamentales en entornos mediados por tecnologías de información y
comunicación.

Ivana Feldfeber es directora ejecutiva en Data Género e investigadora en
el Center for Al and Digital Policy (CAIDP).

Ivonne Muñoz es directora de IT Lawyers SC | IT Lawyer y asesora de
ciberseguridad.

Jaime Gutiérrez Alfaro es profesor en el Instituto Tecnológico de Costa
Rica y co-fundador de <A+> Alliance.

Jennifer Taylor es vicepresidenta de Asuntos Laborales e Industriales de
Estados Unidos en la Consumer Technology Association (CTA).

Jessica Fjeld es profesora de derecho y subdirectora de la Clínica de
Derecho Cibernético en el Berkman Klein Center for Internet 8 Society de la
Universidad de Harvard.

Joan López es investigador y asesor de política en el Instituto de
Derecho, Tecnología y Sociedad de Tilburg (TILT) en el proyecto Global Data
Justice e integrante de la Fundación Karisma de Colombia.

John C. Havens es director ejecutivo del Consejo de Inteligencia
Extendida y de la Iniciativa Global IEEE sobre Ética de Sistemas Autónomos e
Inteligentes.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 299

Autoras

Juliana Guerra es socióloga y magíster en Estudios Culturales de la
Universidad Nacional de Colombia y miembro de Derechos Digitales desde 2016.

Kruskaya Hidalgo Cordero es investigadora, activista feminista y una de
las fundadora del Observatorio de Plataformas (Ecuador), colectivo que cuestiona
las condiciones laborales y vulneraciones a la vida dentro de las economías de
plataforma.

Laura Ación es investigadora adjunta del CONICET en el Instituto de
Cálculo de la Universidad de Buenos Aires e integrante de la Fundación Vía Libre.

Laura Alonso Alemany es profesora e investigadora en la Facultad de
Matemática, Astronomía, Física y Computación de la Universidad Nacional de
Córdoba (UNC), integrante del Grupo de Procesamiento de Lenguaje Natural y
parte del equipo de la Fundación Vía Libre.

Laura Castro es investigadora feminista e integrante de la Fundación
Karisma de Colombia.

Lucía González es investigadora en la Fundación Vía Libre.

Luciana Benotti es la primera directora latinoamericana de la North
American Association in Computational Linguistics (NAACL). Es profesora
asociada de la Universidad Nacional de Córdoba e integrante de la Fundación Vía
Libre.

Malavika Jayaram es la directora ejecutiva del Digital Asia Hub, un grupo
de investigación independiente incubado por el Berkman Klein Center for Internet
8 Society de la Universidad de Harvard.

Marianela Ciolfi Felice es profesora asistente en Diseño de Interacción
en el Royal Institute of Technology - KTH y miembro del centro de investigación
transdisciplinar Digital Futures, en Suecia.

Mariel Zasso es coordinadora del hub de América Latina y el Caribe de la

red f<a+i>r.

Inteligencia Artificial Feminista
300 Hacia una agenda de investigación en América Latina y el Caribe

Autoras

Matías Bordone es integrante del Departamento de Enseñanza de las
Tecnologías Digitales, Programación y Robótica del Instituto Superior de Estudios
Pedagógicos de Córdoba y de la Fundación Vía Libre y uno de los organizadores
del Flisol Córdoba.

Monique Morrow fue CEO en Cisco entre 2012 y 2016 y en la actualidad
es presidenta y cofundadora de Humanized Internet, organización sin fines de
lucro activa en la protección de las identidades digitales de las poblaciones
subrepresentadas.

Nagla Rizk es profesora de economía y directora fundadora del Centro de
Acceso al Conocimiento para el Desarrollo (A2K4D) en la Escuela de Negocios,
The American University of Cairo, Egipto.

Norma Elva Chávez es directora del laboratorio de Dispositivos Lógicos
Programables en el Departamento de Computación en la Facultad de Ingeniería
de la Universidad Nacional Autónoma de México (UNAM) y co-directora del
Laboratorio de Innovación Cívica.

Paola Ricaurte es profesora asociada del Departamento de Medios y
Cultura Digital del Tecnológico de Monterrey, investigadora asociada del Berkman
Klein for Internet € Society de la Universidad de Harvard y líder del hub de
América Latina y El Caribe de la red f<a+i¡>r.

Rachel Adams es la investigadora principal de Research ICT Africa,
donde dirige el Al4D Africa Just Al Centre, es la líder del proyecto del
Observatorio africano sobre lA responsable (Al4D) y es la investigadora principal
del Índice global sobre lA responsable.

Raja Chatila es presidente de la Iniciativa Global IEEE para
Consideraciones Éticas en Inteligencia Artificial y Sistemas Autónomos y director
del Instituto de Sistemas Inteligentes y Robótica (ISIR) y del Laboratorio de
Excelencia “SMART” en la Sorbonne Université Campus Pierre et Marie Curie.

Raquel Seville es CEO de Bl Brainz y profesora adjunta de ciencia de
datos aplicada en la University of the West Indies, en Mona, Jamaica.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 30 1

Autoras

Ravit Dotan es una investigadora postdoctoral en el Centro de Filosofía
de la Ciencia de la University of Pittsburgh con un proyecto sobre cómo incentivar
financieramente el desarrollo ético de la lA.

Raziye Buse Cetin es investigadora y consultora independiente sobre
ética y políticas de lA.

Sabelo Mhlambi es el fundador de Bantucracy, una organización de
interés público que se enfoca sobre la ética y la tecnológica desde la perspectiva
ubuntu. Es afiliado del Berkman Klein Center for Internet 8 Society y del Carr
Center for Human Rights Policy, de la Universidad de Harvard.

Saiph Savage es profesora en la Universidad de Northeastern, en la
Facultad de Ciencias de la Computación, donde dirige el Laboratorio de
Inteligencia Artificial Cívica.

Sara Jordan fue investigadora principal en inteligencia artificial y ética en
el Foro sobre el Futuro de la Privacidad y es integrante activa de la Iniciativa
Global IEEE sobre Ética para Sistemas Autónomos e Inteligentes.

Sarita Rosenstock es investigadora posdoctoral en la Australian National
University en el Proyecto Humanising Machine Intelligence.

Sofía Scasserra es directora del Observatorio de Impactos Sociales de
Inteligencia Artificial-UNTREF, Argentina, e investigadora asociada del
Transnational Institute.

Sofía Trejo es profesora de la Maestría en Ciencia de Datos del Instituto
Tecnológico Autónomo de México (ITAM) e integrante del Consejo Consultivo del
Instituto Federal de Comunicaciones (IFT) de México.

Soraj Hongladaron es profesor titular en el Departamento de Filosofía y
director del Centro de Ciencia, Tecnología y Sociedad de la Universidad de
Chulalongkorn, en Tailandia. Es el líder del hub del Sudeste de Asia de la red

f<a+i>r.

Inteligencia Artificial Feminista
302 Hacia una agenda de investigación en América Latina y el Caribe

Autoras

Tajééw Díaz Robles forma parte del colectivo Colmix y es maestra en
antropología social. Actualmente coordina el proyecto Endless Oaxaca
Multilingue.

Tatiana Revilla es coordinadora del Programa de Transversalización de
Género de la Escuela de Gobierno y Transformación Pública del Tecnológico de
Monterrey, México.

Virginia Brussa es docente e investigadora en la Universidad Nacional de
Rosario y en la Universidad Nacional de Rafaela, en Argentina.

Wanda Muñoz Jaime es consultora en inclusión, género y asistencia a
sobrevivientes de violencia e integrante de la Red Seguridad Humana en América
Latina y el Caribe (SEHLAC) y de la Alianza Global sobre Inteligencia Artificial.

Yasnaya Elena Aguilar Gil es linguista, escritora, traductora, activista de
derechos linguísticos e investigadora mixe. Forma parte de COLMIX, un colectivo
de jóvenes mixes que realiza actividades de investigación y difusión de la lengua,
historia y cultura mixe.

Yasmin Quiroga es abogada especialista en género y coordinadora del
area de Poder Judicial en el observatorio Data Género.

Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 303